[논문 리뷰] Deep Line Art Video Colorization with a Few References

Min Shi, Jiaqi Zhang외 4명|arXiv (Cornell University)|2020. 03. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 33인용 수 7

한 줄 요약

이 논문은 소수의 기준 이미지만을 사용하여 라인 아트 비디오 자동 색채우기 위한 딥러닝 프레임워크를 제안한다. 국소적 색상 전이를 위해 비국소 유사도 매칭을 결합하고, 스타일 임베딩을 사용한 AdaIN을 통해 전역적 색상 일관성을 확보하며, 3D 컨볼루션 시간 네트워크로 강화된 방법으로, 최신 기술 수준의 성능을 달성하고 최소한의 피팅 데이터로 새로운 애니메이션 스타일에 잘 일반화된다.

ABSTRACT

Coloring line art images based on the colors of reference images is an important stage in animation production, which is time-consuming and tedious. In this paper, we propose a deep architecture to automatically color line art videos with the same color style as the given reference images. Our framework consists of a color transform network and a temporal constraint network. The color transform network takes the target line art images as well as the line art and color images of one or more reference images as input, and generates corresponding target color images. To cope with larger differences between the target line art image and reference color images, our architecture utilizes non-local similarity matching to determine the region correspondences between the target image and the reference images, which are used to transform the local color information from the references to the target. To ensure global color style consistency, we further incorporate Adaptive Instance Normalization (AdaIN) with the transformation parameters obtained from a style embedding vector that describes the global color style of the references, extracted by an embedder. The temporal constraint network takes the reference images and the target image together in chronological order, and learns the spatiotemporal features through 3D convolution to ensure the temporal consistency of the target image and the reference image. Our model can achieve even better coloring results by fine-tuning the parameters with only a small amount of samples when dealing with an animation of a new style. To evaluate our method, we build a line art coloring dataset. Experiments show that our method achieves the best performance on line art video coloring compared to the state-of-the-art methods and other baselines.

연구 동기 및 목표

• 애니메이션 제작에서 수작업 색채우기의 높은 노동력 비용과 시간 소모 문제를 해결하기 위해.
• 전역적 색상 스타일 일관성을 유지하면서 라인 아트 비디오의 자동 색채우기를 가능하게 하기 위해.
• 순차적 프레임 색채우기 방식에서 발생하는 오차 누적 문제를 피하기 위해 프레임 간 전파를 피하기 위해.
• 소수의 학습 샘플로만 새로운 애니메이션 스타일에 효과적으로 적응할 수 있도록 하기 위해.
• 라인 아트 비디오 색채우기 방법 평가를 위한 벤치마크 데이터셋을 구축하기 위해.

제안 방법

• 색상 변환 네트워크는 목표 라인 아트와 기준 이미지 간의 영역 대응 관계를 비국소 유사도 매칭을 통해 식별하여 국소적 색상 전이를 수행한다.
• 스タイ일 임베딩 벡터를 사용한 적응형 인스턴스 정규화(AdaIN)가 기준 이미지에서 유도된 전역적 색상 스타일 일관성을 강제하기 위해 적용된다.
• 3D 컨볼루션 시간 제약 네트워크는 시공간적 특징을 학습하여 비디오 프레임 간 색상 일관성을 유지한다.
• 모델은 엔드 투 엔드로 훈련되며, 새로운 애니메이션 스타일에서 최소 32개의 비디오 시퀀스로 피팅할 수 있다.
• 프레임워크는 목표 라인 아트 이미지와 하나 이상의 기준 이미지(라인 + 색상)를 처리하여 시간적으로 일관되고 스타일이 일치하는 색상 결과를 생성한다.
• 모델은 각 프레임에서 이전 프레임 출력에 의존하는 대신 원본 기준 이미지를 직접 참조함으로써 오차 전파를 방지한다.

실험 결과

연구 질문

• RQ1 소수의 기준 이미지만을 사용하여 딥러닝 모델이 고품질의 라인 아트 비디오 색채우기를 달성할 수 있는가?
• RQ2 희소 기준 이미지에서 색채우기 시 비디오 시퀀스 전반에 걸쳐 전역적 색상 스타일 일관성을 유지할 수 있는가?
• RQ3 완전한 재학습 없이도 소수의 피팅 샘플로만 새로운 애니메이션 스타일에 일반화할 수 있는가?
• RQ4 순차적 프레임 전파 방법 대비 오차 누적 및 시각적 품질 측면에서 제안된 방법은 어떻게 비교되는가?
• RQ5 성능과 데이터 효율성의 균형을 고려할 때 최적의 기준 이미지 수와 피팅 시퀀스 수는 얼마인가?

주요 결과

• 이 방법은 라인 아트 비디오 색채우기 분야에서 최신 기술 수준의 성능을 달성하여, 정량적·정성적 평가에서 TCVC [7] 및 기타 최신 기술 기반 기준 모델들을 능가한다.
• 새로운 애니메이션 스타일에서 32개의 피팅 시퀀스로 훈련한 결과, PSNR는 20.21, FID는 71.84를 기록하여 기본 모델보다 크게 향상되었다.
• 5개의 기준 이미지를 사용할 경우 품질에서 최적의 균형을 이룩했으며, FID는 21.79로 감소하고 PSNR는 23.83에 도달했지만, K=3를 넘어서는 성능 향상이 둔화되었다.
• 32개의 시퀀스로 피팅하면 성능이 안정화되며, 32개를 초과해도 결과는 일관되게 유지되어 수익 감소 현상이 나타났다.
• 모델는 새로운 애니메이션에 대해 잘 일반화되며, 새로운 스타일에서 단지 32개의 시퀀스로 피팅해도 고품질 결과를 도출할 수 있었다.
• 제거 실험 결과, 국소적(비국소 매칭) 및 전역적(AdaIN) 구성 요소 모두가 고품질 색채우기 위해 필수적임을 확인했다.