[논문 리뷰] Learning to Extract a Video Sequence from a Single Motion-Blurred Image

Meiguang Jin, Givi Meishvili외 1명|arXiv (Cornell University)|2018. 04. 11.

Advanced Image Processing Techniques참고 문헌 35인용 수 13

한 줄 요약

이 논문은 단일 운동 흐림 이미지에서 잃어버린 시간적 순서를 고려하여 날카운 비디오 프레임의 시퀀스를 복원하기 위한 딥러닝 방법을 제안한다. 이는 부정확한 복원 문제와 잃어버린 시간적 순서라는 이중 과제를 해결한다. 프레임 쌍 기반의 순서에 민감하지 않은 손실 함수와 티처 포싱을 활용한 순차적 복원 전략을 통해, 합성 및 실제 세계의 흐린 이미지에서 시간적으로 일관되고 고품질의 프레임을 성공적으로 복원한다.

ABSTRACT

We present a method to extract a video sequence from a single motion-blurred image. Motion-blurred images are the result of an averaging process, where instant frames are accumulated over time during the exposure of the sensor. Unfortunately, reversing this process is nontrivial. Firstly, averaging destroys the temporal ordering of the frames. Secondly, the recovery of a single frame is a blind deconvolution task, which is highly ill-posed. We present a deep learning scheme that gradually reconstructs a temporal ordering by sequentially extracting pairs of frames. Our main contribution is to introduce loss functions invariant to the temporal order. This lets a neural network choose during training what frame to output among the possible combinations. We also address the ill-posedness of deblurring by designing a network with a large receptive field and implemented via resampling to achieve a higher computational efficiency. Our proposed method can successfully retrieve sharp image sequences from a single motion blurred image and can generalize well on synthetic and real datasets captured with different cameras.

연구 동기 및 목표

• 노출 중 평균화로 인해 시간적 순서가 손실된 단일 운동 흐림 이미지에서 날카운 비디오 프레임의 시퀀스를 복원하는 과제를 해결하기 위해.
• 큰 수신장과 효율적인 리샘플링을 활용한 딥러닝을 통해 망각된 복원 문제의 부정확한 성격을 극복하기 위해.
• 시간적 모호성을 해결하기 위해 시간 순서에 영향을 받지 않는 손실 함수를 설계하여 신경망이 다수의 유효한 시간적 순서를 학습할 수 있도록 하기 위해.
• 학습 데이터에 포함된 합성 데이터를 초월해 다양한 실제 카메라와 블러 유형에 대해 일반화할 수 있도록 하여 안정성을 확보하기 위해.

제안 방법

• 오차 전파를 줄이기 위해 중간 프레임에서 시작하여 순차적으로 프레임을 예측하는 순차적 쌍별 복원 전략을 사용한다.
• 프레임 쌍의 평균과 절대 차이를 타깃으로 사용함으로써 시간 순서에 영향을 받지 않는 새로운 손실 함수를 도입한다.
• 큰 컨볼루션 필터를 사용하는 대신 리샘플링 레이어를 통해 큰 수신장을 달성함으로써 계산 효율성과 메모리 사용량을 향상시킨다.
• 재현성과 날카움을 향상시키기 위해 생성적 적대적 훈련을 적용한다.
• 훈련 중 티처 포싱을 사용하여 중간 프레임의 진짜값을 네트워크에 피드백함으로써 이후 프레임 예측의 훈련 안정성과 수렴 속도를 향상시킨다.
• 중간 프레임과 대칭 프레임 쌍(예: 프레임 1과 7, 2와 6)에 대해 별도의 네트워크를 사용하며, 대칭 쌍 간에 가중치를 공유함으로써 확장성을 향상시킨다.

실험 결과

연구 질문

• RQ1 시간적 순서가 손실된 단일 운동 흐림 이미지에서 딥 네트워크가 날카운 프레임의 시퀀스를 효과적으로 복원할 수 있는가?
• RQ2 시간 순서에 영향을 받지 않는 손실 함수는 어떻게 설계할 수 있으며, 이를 통해 네트워크가 다수의 유효한 시간적 순서를 학습할 수 있는가?
• RQ3 티처 포싱을 활용한 순차적 복원 전략은 독립적 또는 전역 복원 방식에 비해 예측 품질과 안정성에서 향상되는가?
• RQ4 모델은 훈련에 사용된 카메라와 다른 카메라로 촬영된 실제 이미지에 얼마나 잘 일반화되는가?

주요 결과

• 제안된 방법은 단일 운동 흐림 이미지에서 7개의 날카운 시간적 일관성 있는 프레임을 성공적으로 복원하였으며, 시각적 품질이 기준 방법보다 뚜렷이 뛰어나다.
• 순서에 민감하지 않은 손실 함수의 사용으로 네트워크가 다수의 유효한 프레임 순서를 학습할 수 있었으며, 고정 순서 훈련의 단점을 피할 수 있었다.
• 티처 포싱은 특히 중간 프레임에서 멀리 떨어진 프레임에 대해 수렴 속도를 빠르게 하고 더 나은 시각적 결과를 도출하였다.
• 훈련 데이터에 포함된 카메라와 다른 카메라로 촬영된 실제 이미지에 대해서도 모델이 잘 일반화되어, 다양한 블러 특성에 대해 안정성을 보였다.
• 중간 프레임 예측에 실패할 경우 다른 프레임의 복원도 실패함을 확인하였으며, 정확한 중간 프레임 추정의 핵심적 역할을 확인하였다.
• 순차적 쌍별 복원 전략은 독립적 또는 전역 복원 방식에 비해 임계 시간 영역에서의 아티팩트를 줄였다.