[논문 리뷰] Deep Video Color Propagation

Simone Meyer, Victor Cornillère외 3명|arXiv (Cornell University)|2018. 01. 01.

Image Enhancement Techniques참고 문헌 31인용 수 7

한 줄 요약

이 논문은 장기간의 시간적 시퀀스 동안 색상 정확성을 유지하기 위해 국소적 프레임 단위 와핑과 전역적 의미 특징 매칭을 조합한 딥러닝 프레임워크를 제안한다. 국소적 운동 기반 전략과 전역적 의미 매칭 전략을 정련 네트워크를 통해 융합함으로써, 정성적 및 정량적 평가에서 기존의 비디오 및 이미지 색상화 방법, 그리고 신경망 스타일 전이 접근법보다 뛰어난 성능을 달성한다.

ABSTRACT

Traditional approaches for color propagation in videos rely on some form of matching between consecutive video frames. Using appearance descriptors, colors are then propagated both spatially and temporally. These methods, however, are computationally expensive and do not take advantage of semantic information of the scene. In this work we propose a deep learning framework for color propagation that combines a local strategy, to propagate colors frame-by-frame ensuring temporal stability, and a global strategy, using semantics for color propagation within a longer range. Our evaluation shows the superiority of our strategy over existing video and image color propagation methods as well as neural photo-realistic style transfer approaches.

연구 동기 및 목표

• 광학 흐름에 의존하여 시간이 지남에 따라 드리프트와 잡음이 발생하는 전통적인 비디오 색상 전파 방법의 한계를 해결하기 위해.
• 장거리 일致성을 확보하기 위해 딥 특징 매칭을 통한 의미 이해를 통합하여 비디오의 색상 전파를 향상시키기 위해.
• 국소적 운동 기반 와핑과 전역적 의미 색상 전이를 효과적으로 융합하는 이중 단계 학습 프레임워크를 개발하기 위해.
• 시간 안정성과 색상 정확도 측면에서 기존의 이미지 및 비디오 색상화 방법, 특히 신경망 포토 리얼리스틱 스타일 전이 기법보다 뛰어나지 않도록 하기 위해.

제안 방법

• 시간 일관성을 확보하고 드리프트를 줄이기 위해 광학 흐름을 사용해 프레임 단위로 색상을 와핑하는 국소 전략.
• 첫 번째 프레임에서 장거리 범위로 색상을 매칭하고 전이하기 위해 딥 의미 특징을 사용하는 전역 전략.
• 국소 및 전역 전략의 출력을 융합하고 최종 색상화 프레임을 생성하기 위해 융합 및 정련 네트워크를 사용.
• 국소 및 전역 구성 요소를 효과적으로 최적화하기 위해 이중 단계 학습 절차를 적용.
• 의미 인식 색상 매칭을 가능하게 하기 위해 딥 네트워크에서 사전 학습된 특징을 활용.
• 손실 함수를 시각적 품질과 PSNR 기반 품질 최적화를 위해 최적화한 채널 기반으로 비디오 시퀀스에서 엔드 투 엔드로 훈련.

실험 결과

연구 질문

• RQ1 국소적 운동 와핑과 전역적 의미 매칭을 융합한 하이브리드 딥러닝 접근법이 비디오의 장기적 색상 전파를 향상시킬 수 있는가?
• RQ2 의미 특징의 통합이 광학 흐름 기반 또는 양방향 필터링 방법에 비해 색상 일관성을 어떻게 향상시키는가?
• RQ3 제안된 방법이 시간 안정성 측면에서 최신 기술의 이미지 및 비디오 색상화 기법보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 장기간의 시퀀스에서 원본 프레임의 색상을 유지하는 데 있어 신경망 포토 리얼리스틱 스타일 전이 기법과 비교해 본다면, 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• 경쟁 기법 대비 훨씬 낮은 PSNR 오차(프레임 50에서 41.23)를 기록하여 뛰어난 시간 안정성을 입증한다.
• 50 프레임 동안 높은 색상 충실도를 유지하며, 평균 및 장기 오차 지표에서 비디오 전파 네트워크 [21]와 빠른 이중 필터 솔버 [5]를 모두 능가한다.
• 전역 전략은 큰 운동이나 가림 영역에서 국소 와핑이 실패하는 경우에도 색상 드리프트와 잡음을 줄여준다.
• 69개의 다양한 비디오 시퀀스에서의 정량적 평가 결과, 모든 프레임에서 일관된 우수성을 입증하였으며, 기준선 대비 오차 증가 속도가 더 느리다.
• 30개의 HD 프레임을 처리하는 데 몇 시간이 소요되는 [49]와 같은 방법에 비해, 1분 이내에 최신 기술 수준의 결과를 도출한다.