[논문 리뷰] Cascaded Deep Video Deblurring Using Temporal Sharpness Prior

Jinshan Pan, Haoran Bai외 1명|arXiv (Cornell University)|2020. 04. 06.

Advanced Image Processing Techniques참고 문헌 33인용 수 6

한 줄 요약

이 논문은 시간적 선명도 사전 지식을 활용하여 프레임 간 특징 일관성을 향상시키는 계단식 딥 CNN을 제안한다. 중간 잠재 프레임에서 동시적으로 광학 흐름을 추정하고, 인코더-디코더 네트워크를 사용해 이를 복원함으로써, 모델 크기가 작고도 상태의 기술 수준(SOTA) 성능을 달성한다. 더 큰 아키텍처에 비해 뛰어난 성능을 내며, 파rameter 수가 적고 효율성이 높다.

ABSTRACT

We present a simple and effective deep convolutional neural network (CNN) model for video deblurring. The proposed algorithm mainly consists of optical flow estimation from intermediate latent frames and latent frame restoration steps. It first develops a deep CNN model to estimate optical flow from intermediate latent frames and then restores the latent frames based on the estimated optical flow. To better explore the temporal information from videos, we develop a temporal sharpness prior to constrain the deep CNN model to help the latent frame restoration. We develop an effective cascaded training approach and jointly train the proposed CNN model in an end-to-end manner. We show that exploring the domain knowledge of video deblurring is able to make the deep CNN model more compact and efficient. Extensive experimental results show that the proposed algorithm performs favorably against state-of-the-art methods on the benchmark datasets as well as real-world videos.

연구 동기 및 목표

• 변분 방법에서 유도된 도메인 전용 지식을 활용하는 컴팩트한 딥 CNN 모델을 개발하는 것.
• 이웃 프레임 간 선명한 콘텐츠를 활용하는 시간적 선명도 사전 지식을 통합하여 복원 성능을 향상시키는 것.
• 광학 흐름 추정과 잠재 프레임 복원 간의 피드백을 교차하는 계단식 최적화 전략을 통해 엔드 투 엔드 훈련을 가능하게 하는 것.
• 모델 복잡도를 줄이면서도 대용량 CNN 및 변분 방법에 비해 복원 정확도에서 뛰어난 성능을 내는 것.

제안 방법

• 계단식 최적화 전략을 통해 중간 잠재 프레임에서 PWC-Net 기반 모듈을 사용해 광학 흐름을 추정하여 연속 프레임을 정렬한다.
• ReLU 활성화 함수와 스케일 연결을 갖춘 인코더-디코더 CNN 아키텍처를 사용해 잠재 프레임을 복원한다.
• 시간적 선명도 사전 지식을 도입하여 시간에 걸쳐 선명한 특징의 일관성을 강제로 유도함으로써 복원 과정을 안내한다.
• 각 단계에서 중심 프레임을 세 개의 인접 프레임을 사용해 개선하는 방식으로, 계단식으로 엔드 투 엔드로 훈련한다.
• 모든 단계에서 파라미터를 공유하고, 공통 아키텍처를 사용해 매번 세 개의 인접 프레임을 처리한다.
• 통합 손실 함수를 사용해 광학 흐름 추정 및 프레임 복원 모듈을 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 변분 모델 기반 방법에서 유도된 도메인 지식은 비디오 복원에서 딥 CNN의 컴팩트성과 성능을 향상시킬 수 있는가?
• RQ2 프레임 간 시간적 선명도를 명시적으로 모델링하면 복원 품질과 모델 효율성이 향상되는가?
• RQ3 흐름 추정과 프레임 복원 간 피드백이 있는 계단식 훈련 방식은 표준 엔드 투 엔드 훈련보다 더 나은 성능을 낼 수 있는가?
• RQ4 제안된 방법은 최신의 CNN 기반 및 변분 방법과 비교해 정확도와 모델 크기 측면에서 어떻게 성능을 내는가?

주요 결과

• 균일하게 분포된 블러가 존재하는 도전적인 테스트 세트에서, 제안된 방법은 PSNR 31.33과 SSIM 0.9239을 달성하여 기준 모델 대비 최소한의 성능 저하를 보였다.
• 모델 크기는 16.19M 파라미터로, EDVR(23.60M)보다 작고, 더 작은 기준 모델들과 유사하지만, 복원 품질에서 뛰어난 성능을 보였다.
• 광학 흐름 모듈을 제거하면 성능이 떨어지며, 이는 광학 흐름 추정이 복원 결과에 상당한 기여를 한다는 것을 확인한다.
• 다양한 광학 흐름 네트워크를 사용해도 일관된 성능을 보이며, FlowNet 2.0를 사용했을 때도 유사한 결과를 얻었다.
• 시간적 선명도 사전 지식은 局부 블러가 있는 영상에서 성능 향상을 보였지만, 모든 픽셀에 균일하게 블러가 존재할 경우는 성능 향상이 제한적이었다.
• 계단식 훈련 방식은 효과적인 엔드 투 엔드 최적화를 가능하게 하여, 컴팩트하면서도 매우 효과적인 모델을 구현했다.