[논문 리뷰] AnimeRun: 2D Animation Visual Correspondence from Open Source 3D Movies

Siyao Li, Yuhang Li외 4명|arXiv (Cornell University)|2022. 11. 10.

Advanced Vision and Imaging인용 수 6

한 줄 요약

이 논문은 오픈소스 3D 영화에서 유도된 첫 번째 전경 2D 애니메이션 대응 데이터셋인 AnimeRun을 소개한다. 이 데이터셋은 풍부한 시각적 구성과 복잡한 운동을 가진 스타일리시한 2D 만화 프레임으로 변환된 전경 2D 애니메이션을 제공한다. 데이터셋은 픽셀 단위의 광학 흐름과 영역 단위의 세그먼테이션 매칭 레이블을 모두 포함하여, 기존의 광학 흐름 및 매칭 방법이 애니메이션 데이터에서 유의미한 한계를 보이는 것을 드러내며, 동시에 AnimeRun으로 모델을 피지테이닝할 경우 성능 향상이 가능함을 보여준다.

ABSTRACT

Existing correspondence datasets for two-dimensional (2D) cartoon suffer from simple frame composition and monotonic movements, making them insufficient to simulate real animations. In this work, we present a new 2D animation visual correspondence dataset, AnimeRun, by converting open source three-dimensional (3D) movies to full scenes in 2D style, including simultaneous moving background and interactions of multiple subjects. Our analyses show that the proposed dataset not only resembles real anime more in image composition, but also possesses richer and more complex motion patterns compared to existing datasets. With this dataset, we establish a comprehensive benchmark by evaluating several existing optical flow and segment matching methods, and analyze shortcomings of these methods on animation data. Data, code and other supplementary materials are available at https://lisiyao21.github.io/projects/AnimeRun.

연구 동기 및 목표

• 자연 풍경 대응 데이터셋과 2D 만화 애니메이션 사이의 도메인 갭을 해결하기 위해, 평탄한 색상과 명확한 윤곽선과 같은 특별한 시각적 구조를 가진 2D 만화 애니메이션의 특성을 고려한다.
• 단일 모델, 정적 배경 환경을 사용하며 단조롭고 짧은 운동이 반복되는 기존의 애니메이션 데이터셋의 한계를 극복한다.
• 동시적인 배경 운동, 다중 객체 상호작용, 가림, 복잡하고 지속적인 운동 패턴을 포함한 현실적이고 전경 2D 애니메이션 데이터셋을 구축한다.
• 새로운 데이터셋을 기반으로 광학 흐름 및 세그먼테이션 매칭 방법에 대한 종합적인 벤치마크를 수립하여, 현재의 방법이 애니메이션 전용 과제에서 유의미한 한계를 보이는지 평가하고 분석한다.
• 미래의 2D 애니메이션 대응 및 프레임 보간 연구를 위한 고품질, 다양한 종류의 현실적인 학습 및 평가 자원을 제공한다.

제안 방법

• 세 개의 오픈소스 3D 애니메이션 영화—Agent 327, Caminandes 3: Llamigos, Sprite Fright—를 활용하여, 회색조 윤곽선과 색상 이미지를 포함한 스타일리시한 2D 만화 프레임으로 변환함으로써 데이터셋을 구축한다.
• 3D 렌더링 효과를 조정하여 2D 애니메이션 미학과의 호환성을 향상시키는 체계적인 후처리 파이프라인을 적용하며, 주요 캐릭터와 동작을 유지하면서도 시각적 일관성을 향상시킨다.
• 원본 3D 장면의 운동 추적 및 의미적 세그먼테이션을 조합하여, 실제 픽셀 단위의 광학 흐름 및 영역 단위의 세그먼테이션 매칭 레이블을 합성한다.
• 실제 애니메이션 데이터셋의 통계를 기반으로 색상 증강을 적용하여, 합성 데이터가 실제 애니메이션의 색상 외관 분포와 일치하도록 보장한다.
• 데이터셋은 훈련 및 테스트 세트로 분할되며, 기준 모델들은 AnimeRun으로 피지테이닝되어 대응 작업 성능을 평가한다.
• 프레임 보간 벤치마크는 AnimeInterp 프레임워크를 사용하여 수립되며, 이는 보간 예측 모듈을 AnimeRun으로 피지테이닝된 모델로 교체함으로써 수행된다.

실험 결과

연구 질문

• RQ1 AnimeRun의 시각적 복잡성과 운동 다양성은 기존의 2D 애니메이션 대응 데이터셋과 비교해 장면 구성 및 운동 패턴 측면에서 어떻게 다를까?
• RQ2 기존의 광학 흐름 및 세그먼테이션 매칭 방법은 무늬 없는 영역, 가림, 복잡한 운동과 같은 애니메이션 전용 과제에서 어느 정도 실패하는가?
• RQ3 AnimeRun으로 피지테이닝하면 실세계 2D 애니메이션 프레임 보간 작업에서 대응 모델의 성능이 유의미하게 향상되는가?
• RQ4 AnimeRun으로 피지테이닝된 모델의 성능은 자연 풍경 데이터셋 또는 다른 애니메이션 데이터셋으로 피지테이닝된 모델과 비교해 PSNR 및 SSIM 측면에서 어떻게 다를까?
• RQ5 애니메이션 전용 데이터로 학습되지 않은 모델을 사용할 경우, 보간된 프레임에서 어떤 특정한 시각적 아티팩트(예: 잘못된 눈의 흐름, 블러링)가 나타나는가?

주요 결과

• AnimeRun으로 RAFT를 피지테이닝한 결과(‘RAFT ft. T+R’) 원본 RAFT 대비 평균 PSNR가 0.15 dB 향상(29.35 dB)되고 SSIM이 0.0006 향상되어, 이는 애니메이션 데이터에서의 효과를 입증한다.
• AnimeRun으로 피지테이닝된 모델은 ‘하드’ 난이도의 프레임 보간에서 0.21 dB 향상되어, 복잡한 운동에 대한 일반화 능력 향상을 보여준다.
• CreativeFlow+ 또는 Sintel로 피지테이닝된 모델은 복잡한 애니메이션 시퀀스에서 성능 저하를 보이며, ‘어려움’ 수준에서 0.16 dB 감소하여 도메인 분리 문제를 드러낸다.
• 시각화 결과, AnimeRun으로 학습된 모델는 자연 풍경 데이터로 피지테이닝된 모델보다 더 선명한 보간 프레임을 생성하며, 잘못된 눈의 흐름이나 블러링 등의 아티팩트가 적게 나타남을 확인할 수 있다.
• 벤치마크 결과는 AnimeRun이 실세계 2D 애니메이션에서 광학 흐름 품질을 평가하는 데 적합한 프록시로 기능하며, ATD-12K에서의 프레임 보간 품질과 강한 상관관계를 보임을 확인한다.
• AnimeRun은 특히 눈과 같은 무늬 없는 영역에서 더 정확한 이중 방향 광학 흐름 추정을 가능하게 하여, 일관성 없는 흐름 예측으로 인한 보간 아티팩트를 감소시킨다.