[논문 리뷰] Deep Exemplar-based Video Colorization

Bo Zhang, Mingming He외 5명|arXiv (Cornell University)|2019. 06. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 55인용 수 10

한 줄 요약

이 논문은 시간적 일관성과 현실적인 색상 전달을 위해 순환 네트워워크에서 의미적 대응과 색상 전파를 통합하는 최초의 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 시간 일관성 손실을 함께 사용하여 대응 서브넷과 색상화 서브넷을 동시에 훈련시킴으로써, 양적 지표와 사용자 연구 모두에서 최신 기술을 능가하는 뛰어난 시간적 안정성과 현실감을 달성한다.

ABSTRACT

This paper presents the first end-to-end network for exemplar-based video colorization. The main challenge is to achieve temporal consistency while remaining faithful to the reference style. To address this issue, we introduce a recurrent framework that unifies the semantic correspondence and color propagation steps. Both steps allow a provided reference image to guide the colorization of every frame, thus reducing accumulated propagation errors. Video frames are colorized in sequence based on the colorization history, and its coherency is further enforced by the temporal consistency loss. All of these components, learned end-to-end, help produce realistic videos with good temporal stability. Experiments show our result is superior to the state-of-the-art methods both quantitatively and qualitatively.

연구 동기 및 목표

• 참조 스타일에 대한 충실도를 유지하면서 비디오 색상화에서 시간적 일관성 문제를 해결한다.
• 모든 프레임을 참조 이미지로 안내함으로써 프레임 단위 색상화에서의 오차 누적 문제를 해결한다.
• 의미적 대응과 색상 전파를 하나의 순환 아키텍처로 통합하여 공동 최적화를 실현한다.
• 다른 장면의 참조 이미지를 사용하여 강력한 색상화를 가능하게 하며, 사용자 정의 다중 모드 결과를 지원한다.
• 새로운 손실 함수를 사용한 엔드 투 엔드 훈련을 통해 실시간 추론 속도를 유지하면서도 고품질의 색상화를 달성한다.

제안 방법

• 이전 프레임의 색상화 출력을 컨텍스트로 사용하여 비디오 프레임을 순차적으로 처리하는 순환 신경망을 사용한다.
• 기본 이미지와 각 입력 프레임 간의 조밀한 의미적 대응을 학습하는 대응 서브넷을 도입한다.
• 정렬된 참조 이미지와 이전 프레임의 색상화를 이중 가이던스로 사용하여 색상화 서브넷이 일관되고 현실적인 색상을 생성하도록 한다.
• L1 손실, 지각 손실, FID 기반의 현실성 손실, 시간 일관성 손실을 조합한 복합 손실을 사용하여 전체 네트워크를 엔드 투 엔드로 훈련시킨다.
• 이웃 프레임 간의 색상 차이를 벌리지 않도록 하는 시간 일관성 손실을 적용하여 깜빡임을 줄인다.
• 참조 이미지가 비디오와 다른 장면에 속하더라도 사용이 가능하게 하여 참조 사용의 유연성을 확보하고, 다중 모드 색상화를 지원한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 순환 비디오 색상화 아키텍처에서 의미적 대응과 색상화를 공동 최적화할 수 있는가?
• RQ2 프레임 단위 전파에만 의존하지 않고 예시 기반 비디오 색상화에서 시간 일관성을 어떻게 향상시킬 수 있는가?
• RQ3 다른 장면의 참조 이미지가 비디오 프레임 전반에 걸쳐 현실적이고 일관된 색상화를 안내하는 데 얼마나 효과적인가?
• RQ4 다중 구성 요소 손실을 사용한 엔드 투 엔드 훈련이 속도와 품질 면에서 후처리 또는 반복적 정렬 방법을 능가할 수 있는가?
• RQ5 시각적 현실감, 시간적 안정성, 사용자 선호도 측면에서 제안된 방법은 최신 기술과 비교해 어떻게 다른가?

주요 결과

• 비교된 모든 방법 중에서 가장 낮은 Fréchet Inception Distance (FID) 점수를 기록하여 가장 현실적인 색상화 결과를 보였다.
• 사용자 연구에서, 단일 프레임 자동 색상화 방법과의 비교에서 50.66%의 경우에 상위 선택으로 선정되어 상대적으로 뚜렷이 뛰어난 성능을 보였다.
• 전파 작업에서 장기간의 프레임 시퀀스 동안 안정적인 PSNR 곡선을 기록했으며, 광역 일관성 측면에서 광학 흐름 기반 및 STN/VPN 방법을 능가했다.
• 네트워크는 1 프레임당 0.61초의 속도로 작동하며, 반복적 정렬을 사용하는 최신 기술 [30]의 두 배수 정도 빠른 속도를 기록했다.
• 참조 이미지가 비디오와 다른 장면에 속하더라도, 화사하고 잡음이 적은 결과를 생성하며 깜빡임을 최소화했다.
• 시간 일관성 손실이 효과적으로 프레임 간 색상 변동을 줄여 더 부드럽고 안정적인 비디오 시퀀스를 생성했다.