[논문 리뷰] DeepRemaster: Temporal Source-Reference Attention Networks for Comprehensive Video Enhancement

Satoshi Iizuka, Edgar Simo‐Serra|arXiv (Cornell University)|2020. 09. 18.

Advanced Image Processing Techniques참고 문헌 47인용 수 5

한 줄 요약

이 논문은 시간적 소스-기준 주의 메커니즘을 활용한 단일 엔드 투 엔드 프레임워크인 DeepRemaster를 제안한다. 이는 초상화, 노이즈 제거, 대trast 강화, 색상화를 통합적으로 수행하며, 복수의 기준 색상 이미지를 활용한 새로운 주의 메커니즘을 통해 장시간 영상에서도 높은 품질과 시간적으로 일관된 결과를 이끌어내며 최소한의 사용자 입력으로 구현한다.

ABSTRACT

The remastering of vintage film comprises of a diversity of sub-tasks including super-resolution, noise removal, and contrast enhancement which aim to restore the deteriorated film medium to its original state. Additionally, due to the technical limitations of the time, most vintage film is either recorded in black and white, or has low quality colors, for which colorization becomes necessary. In this work, we propose a single framework to tackle the entire remastering task semi-interactively. Our work is based on temporal convolutional neural networks with attention mechanisms trained on videos with data-driven deterioration simulation. Our proposed source-reference attention allows the model to handle an arbitrary number of reference color images to colorize long videos without the need for segmentation while maintaining temporal consistency. Quantitative analysis shows that our framework outperforms existing approaches, and that, in contrast to existing approaches, the performance of our framework increases with longer videos and more reference color images.

연구 동기 및 목표

• 고전 영화에서 발생하는 노이즈, 흐림, 저해상도, 색상 열화와 같은 복잡하고 상호연관된 문제를 해결하기 위해.
• 초상화, 노이즈 제거, 대trast 강화, 색상화를 동시에 수행하는 통합적인 딥러닝 프레임워크를 개발하기 위해.
• 세그멘테이션 없이도 임의의 수의 기준 색상 이미지를 사용하는 반상호작용 리마스터링을 가능하게 하기 위해.
• 장시간 영상 시퀀스에서 리마스터링 동안 시간적 일관성을 확보하기 위해.
• 실제 고전 영화에 대한 일반화 능력을 높이기 위해 시뮬레이션된 필름 열화를 활용한 데이터 기반 학습 파이프라인을 구축하기 위해.

제안 방법

• 프레임을 동시에 처리하기 위해 시간적 컨volution 네트워크(TCNs)를 활용하여 시공간적 맥락을 포착한다.
• 각 출력 프레임에 대해 복수의 기준 색상 이미지에서 관련 영역을 동적으로 주의 집중하는 새로운 소스-기준 주의 메커니즘을 도입한다.
• 이 주의 메커니즘은 관련 기준 이미지와 공간 영역을 효율적으로 선택할 수 있도록 하여, 임의의 수의 기준 이미지를 활용할 수 있도록 한다.
• 실제 필름 열화를 시뮬레이션하기 위해 합성된, 데이터 증강된 영상 열화 데이터로 엔드 투 엔드로 모델을 학습시킨다.
• 복구 및 색상화 헤드를 결합하여 영상 품질과 시간적 일관성을 동시에 최적화한다.
• 15프레임의 컨텍스트 윈도우를 가진 시간적 컨볼루션은 운동 일관성을 보장하며, 자기 주의(self-attention)는 프레임 간 특징 전파를 향상시킨다.

실험 결과

연구 질문

• RQ1 단일 딥러닝 프레임워크가 초상화, 노이즈 제거, 대trast 강화, 색상화와 같은 상호의존적인 복수의 리마스터링 작업을 동시에 효과적으로 처리할 수 있는가?
• RQ2 세그멘테이션 없이도 임의의 수의 기준 색상 이미지를 효율적으로 활용할 수 있도록 영상 색상화를 위한 주의 메커니즘을 어떻게 설계할 수 있는가?
• RQ3 기존 방법과 달리, 더 긴 영상 시퀀스와 더 많은 기준 이미지를 사용할수록 리마스터링 성능이 향상되는가?
• RQ4 일관된 주의 기반 접근 방식을 사용할 경우, 다양한 장면(예: 근접 촬영, 전경)에서도 시간적 일관성이 유지되는가?
• RQ5 데이터 기반 열화 시뮬레이션은 실제 고전 영화에 대한 일반화 능력과 성능 향상에 어느 정도 기여하는가?

주요 결과

• 제안된 소스-기준 주의 메커니즘은 복수의 기준 이미지를 효과적으로 활용하여 색상화 품질과 일관성을 크게 향상시켰다.
• GTX 1080Ti GPU에서 프레임당 69ms의 추론 시간을 기록하였으며, 이 중 65ms는 색상화에 할당되어 실용적인 효율성을 입증했다.
• 정량적 결과는 영상 길이가 길어지고 기준 이미지 수가 많아질수록 성능 향상이 이루어지며, 이는 이전 방법에서는 관찰되지 않은 경향이다.
• 정성적 비교 결과, 노이즈와 블러가 심한 영역에서 우수한 복구 성능을 보였으며, [Zhang et al., 2017b] 및 [Vondrick et al., 2018]과 같은 파이프라인 기반 접근 방식을 능가했다.
• 단일 처리 단계에서 6장의 기준 색상 이미지를 사용하여 700프레임의 영상을 성공적으로 리마스터링했으며, 안정적이고 자연스러운 색상 출력을 유지했다.
• 한계점으로는 심각한 프레임 손실이나 극심한 열화(예: 큰 영역의 이미지 손실)를 처리하지 못하며, 이는 현재 범위를 초월한 이미지 복원 기법이 필요하다.