[논문 리뷰] Reference-Based Video Colorization with Spatiotemporal Correspondence

Naofumi Akimoto, Akio Hayakawa외 2명|arXiv (Cornell University)|2020. 11. 25.

Image Enhancement Techniques참고 문헌 27인용 수 7

한 줄 요약

이 논문은 시간적으로 일관된 영역에서만 색상을 워핑함으로써 색상 유출과 평균 색상화 문제를 방지하기 위해 시공간 대응을 활용하는 기준 기반 영상 색상화 방법을 제안한다. 인스턴스 추적과 밀도 추적을 결합하여 마스크를 시간에 따라 전파함으로써, 정확하고 장기적인 색상화를 달성하며, 정량적 지표와 정성적 충실도 모두에서 최신 기술을 능가한다.

ABSTRACT

We propose a novel reference-based video colorization framework with spatiotemporal correspondence. Reference-based methods colorize grayscale frames referencing a user input color frame. Existing methods suffer from the color leakage between objects and the emergence of average colors, derived from non-local semantic correspondence in space. To address this issue, we warp colors only from the regions on the reference frame restricted by correspondence in time. We propagate masks as temporal correspondences, using two complementary tracking approaches: off-the-shelf instance tracking for high performance segmentation, and newly proposed dense tracking to track various types of objects. By restricting temporally-related regions for referencing colors, our approach propagates faithful colors throughout the video. Experiments demonstrate that our method outperforms state-of-the-art methods quantitatively and qualitatively.

연구 동기 및 목표

• 비국소적 공간 대응으로 인한 기준 기반 영상 색상화에서의 색상 유출과 평균 색상화 문제를 해결하기 위해.
• 장시간 지속되는 영상 색상화에서 시간적 일관성과 사용자 제어성을 향상시키기 위해.
• 색상 전파의 오류에 의존도를 줄이기 위해 시간에 따라 색상 전파 대신 마스크 전파를 사용하기 위해.
• 구분 가능한 객체를 위한 인스턴스 인식 색상화와 세밀한 비인스턴스 객체를 위한 밀도 추적을 가능하게 하기 위해.
• 기준 프레임와 시간적·공간적으로 정렬된 영역에 한해 색상 워핑을 제한함으로써 색상 충실도를 향상시키기 위해.

제안 방법

• 시공간 대응을 달성하기 위해 추적, 워핑, 보정의 세 단계로 구성된 프레임워크를 사용한다.
• 색상이 인스턴스 간 혼합되지 않도록 하기 위해, 별개의 객체를 분할하고 추적하기 위해 인스턴스 추적을 활용한다.
• 인스턴스 추적에 포함되지 않거나 복잡한 운동을 보이는 객체를 위해 픽셀 수준의 영역을 추적하기 위해 밀도 추적을 도입한다.
• 전달된 마스크를 바탕으로, 대상 프레임와 시간적으로 관련성이 있는 기준 프레임의 영역에서만 색상이 워핑된다.
• 기준 프레임와 대상 프레임 간의 의미적 특징 유사도를 통해 공간적 대응을 계산함으로써 정확한 색상 이동을 보장한다.
• 워핑 잔상과 시간적 일관성을 향상시키기 위해 인코더-디코더 네트워크를 사용하는 보정 단계를 도입한다.

실험 결과

연구 질문

• RQ1 시공간 대응은 기준 기반 영상 색상화에서 객체 간 색상 유출를 줄일 수 있는가?
• RQ2 인스턴스 추적과 밀도 추적을 병합함으로써 복잡한 시나리오에서 색상화 정확도가 어떻게 향상되는가?
• RQ3 시간에 따라 마스크 전파가 장기적인 색상 일관성을 유지하는 데 색상 전파보다 우월한가?
• RQ4 주의 기반 모델에 비해 제안된 방법이 사용자 제어성에서 얼마나 향상되었는가?
• RQ5 배경 변화나 빠른 객체 이동이 있는 영상에서도 높은 충실도를 유지할 수 있는가?

주요 결과

• 단일 기준 프레임을 사용할 경우, DAVIS-2017에서 PSNR 28.76을 달성하여 이전 방법들을 능가한다.
• 다중 기준 프레임을 사용할 경우, Videvo에서 PSNR 28.10을 기록하여 다양한 영상 콘텐츠에 대한 강건성을 입증한다.
• 임계값 16에서의 % 이상치 지표는 Ours (inst.+dense)가 DAVIS에서 11.6%, Videvo에서 11.2%를 기록하여 이전 방법보다 유의미하게 낮다.
• 임계값 8일 때 4K 해상도에서 약 290,000 픽셀(540×540)의 사용자 재그리팅 작업을 줄여 높은 사용자 제어성을 입증한다.
• 밀도 추적이 성능에 크게 기여하며, 특히 전체 프레임 평가에서 Ours (dense)가 Ours (inst.)보다 PSNR와 이상치 지표에서 모두 뛰어나다.
• 제거 실험 결과, 추적 기능을 제거하면 성능 저하가 발생함을 확인하여, 정확한 색상 이동을 위해 마스크 전파의 필요성을 입증한다.