[논문 리뷰] Deep Video Deblurring

Shuochen Su, Mauricio Delbracio외 4명|arXiv (Cornell University)|2016. 11. 25.

Advanced Image Processing Techniques참고 문헌 50인용 수 43

한 줄 요약

이 논문은 명시적인 이미지 정렬 없이 인접 프레임 간의 시간 정보를 활용하는 엔드 투 엔드 딥 러닝 접근법을 제안한다. 고프레임레트 카메라로 촬영한 실세계 데이터셋을 사용하여, CNN이 여러 프레임에서 선명한 특징을 통합하도록 훈련시켜, 계산 비용을 최소화하고 정렬에 대한 민감도가 낮아도 최신 기술 수준의 성능을 달성한다. 이는 광학 흐름이나 동차 변환 정렬을 요구하는 방법들을 뛰어넘는 성능을 보인다.

ABSTRACT

Motion blur from camera shake is a major problem in videos captured by hand-held devices. Unlike single-image deblurring, video-based approaches can take advantage of the abundant information that exists across neighboring frames. As a result the best performing methods rely on aligning nearby frames. However, aligning images is a computationally expensive and fragile procedure, and methods that aggregate information must therefore be able to identify which regions have been accurately aligned and which have not, a task which requires high level scene understanding. In this work, we introduce a deep learning solution to video deblurring, where a CNN is trained end-to-end to learn how to accumulate information across frames. To train this network, we collected a dataset of real videos recorded with a high framerate camera, which we use to generate synthetic motion blur for supervision. We show that the features learned from this dataset extend to deblurring motion blur that arises due to camera shake in a wide range of videos, and compare the quality of results to a number of other baselines.

연구 동기 및 목표

• 휴대용 카메라 진동으로 인한 움직임 블러를 해결하기 위해 소비자 영상 촬영에서 흔히 발생하는 문제를 다룬다.
• 취약하고 계산 비용이 큰 이미지 정렬 절차를 피하는 데이터 기반 영상 디블러킹 방법을 개발한다.
• 엔드 투 엔드로 딥 네트워크를 훈련시켜 프레임 간 최적의 특징 통합을 학습하여 디블러킹을 수행한다.
• 고프레임레트 기록을 사용하여 실제 영상 블러를 시뮬레이션하는 고품질의 실제 감도 있는 훈련 데이터셋을 구축한다.
• 다양한 블러 유형, 예를 들어 물체 운동 및 저조도 조건에 대한 일반화 능력을 입증한다.

제안 방법

• 모델은 스케일리스 컨벌루션 네트워크를 기반으로 한 U-Net 유사 오토인코더를 사용하여 블러된 인접 프레임 스트림에서 선명한 프레임을 재구성한다.
• 실세계 데이터셋은 고프레임레트로 영상을 촬영하고, 카메라 진동을 시뮬레이션하기 위해 합성 운동 블러를 적용하여 생성한다.
• 네트워크는 명시적인 정렬 또는 왜곡 단계를 건너뛰고 직접 선명한 출력 픽셀을 예측하도록 엔드 투 엔드로 훈련된다.
• 다양한 구성이 평가된다: 정렬 없음, 동차 변환 기반 정렬, 광학 흐름 기반 정렬.
• 훈련 과정에서 학습된 특징 수준의 주의 메커니즘을 통해 잘못 정렬된 영역의 아티팩트를 식별하고 억제한다.
• 예측된 결과와 진짜 선명한 프레임 간 픽셀 단위 L1 손실을 통해 지도 학습이 이루어진다.

실험 결과

연구 질문

• RQ1 딥 네트워크는 명시적인 이미지 정렬 없이 영상 디블러킹을 학습할 수 있으며, 정렬에 의존하는 방법과 비교해 성능는 어떻게 되는가?
• RQ2 카메라 진동 블러로 훈련된 모델이 물체 운동이나 저조도 블러와 같은 다른 블러 유형으로 일반화되는 정도는 어느 정도인가?
• RQ3 다양한 정렬 전략에 따라 네트워크 성능가 어떻게 달라지며, 정렬 없이도 높은 품질의 결과를 낼 수 있는가?
• RQ4 전통적인 패치 기반 융합 또는 디컨볼루션 기반 방법보다 엔드 투 엔드로 특징 통합을 학습하는 것이 더 나은 성능을 낼 수 있는가?
• RQ5 네트워크 아키텍처와 훈련 데이터 품질이 일반화 능력과 내구성에 미치는 영향은 무엇인가?

주요 결과

• 제안된 방법은 정성적 및 정량적 평가에서 최신 기술 수준의 성능을 달성하였으며, 기존 베이스라인 대비 PSNR 향상을 보였다.
• 정렬 없이도 (dbn+noalign) 높은 품질의 디블러킹 결과를 생성하여 정렬 오차에 대한 뛰어난 내구성을 입증하였다.
• 광학 흐름 기반 정렬이 가장 뛰어난 성능을 보였지만, 동차 변환 기반 정렬도 계산 비용을 크게 줄이고 유사한 성능를 제공하였다.
• 훈련 데이터가 카메라 진동 블러에 주로 집중되어 있음에도 불구하고, 실내 환경, 저조도, 물체 운동 블러와 같은 다양한 시나리오에 대해 잘 일반화되었다.
• 이 방법은 매우 효율적이며, 프레임당 1초 이내로 결과를 생성하여 정렬 기반 방법이 프레임당 수 분이 소요되는 것보다 뛰어난 성능를 보였다.
• 학습된 필터의 시각화 결과 네트워크가 에지, 색상 채널, 왜곡 아티팩트를 효과적으로 탐지하고 있음을 확인하여 효과적인 특징 학습이 이루어졌음을 시사한다.