[논문 리뷰] Reblur2Deblur: Deblurring Videos via Self-Supervised Learning

Huaijin Chen, Jinwei Gu외 4명|arXiv (Cornell University)|2018. 01. 16.

Advanced Image Processing Techniques참고 문헌 20인용 수 6

한 줄 요약

이 논문은 학습 중에 물리 기반 블러 형성 모델을 강제 적용함으로써 딥러닝 기반 블러 제거 성능을 향상시키는 자기지도 학습 기반 비디오 블러 제거 방법인 Reblur2Deblur를 제안한다. 예측된 선명한 프레임을 광학 흐름을 사용해 재블러링하여 원래의 흐린 프레임을 재구성함으로써, 정답 데이터가 없이도 네트워크를 미세조정할 수 있으며, 이로 인해 아티팩트가 크게 감소하고 PSNR 및 SSIM이 최신 기술보다 향상된다.

ABSTRACT

Motion blur is a fundamental problem in computer vision as it impacts image quality and hinders inference. Traditional deblurring algorithms leverage the physics of the image formation model and use hand-crafted priors: they usually produce results that better reflect the underlying scene, but present artifacts. Recent learning-based methods implicitly extract the distribution of natural images directly from the data and use it to synthesize plausible images. Their results are impressive, but they are not always faithful to the content of the latent image. We present an approach that bridges the two. Our method fine-tunes existing deblurring neural networks in a self-supervised fashion by enforcing that the output, when blurred based on the optical flow between subsequent frames, matches the input blurry image. We show that our method significantly improves the performance of existing methods on several datasets both visually and in terms of image quality metrics. The supplementary material is https://goo.gl/nYPjEQ

연구 동기 및 목표

• 딥러닝 기반 비디오 블러 제거 방법에서 발생하는 이미지 아티팩트와 콘텐츠 일관성 문제를 해결하기 위해.
• 학습 과정에 물리적 블러 형성 모델을 통합함으로써 복원된 결과의 일반화 능력과 정밀도를 향상시키기 위해.
• 정답 데이터가 필요 없이 기존의 블러 제거 네트워크를 자기지도 학습 방식으로 미세조정할 수 있도록 하기 위해.
• 물리 기반 블러 제거(정확하지만 아티팩트가 많음)와 학습 기반 블러 제거(합리적이지만 콘텐츠 정확도가 떨어짐) 사이의 격차를 메우기 위해.

제안 방법

• 흐린 비디오 프레임에서 선명한 프레임과 광학 흐름을 예측하는 가역적 파이프라인을 사용한다.
• 광학 흐름을 사용해 각 픽셀의 블러 커널을 계산하여 예측된 선명한 프레임을 다시 흐리게 만든다.
• 재블러링된 출력과 원래의 입력 흐린 프레임 간의 L2 손실을 최소화함으로써, 정답 데이터 없이 자기지도 학습을 수행한다.
• DVD 및 DeblurGAN과 같은 기존에 사전 학습된 블러 제거 네트워크 위에 미세조정 모듈로 적용된다.
• 두 가지 블러 형성 모델(컨볼루션 기반 및 워핑 기반)을 평가하였으며, 후자는 더 빠르고 거의 동일한 성능을 보였다.
• 정확한 블러 커널 추정을 위해 최소 3개의 입력 프레임이 필요하다.

실험 결과

연구 질문

• RQ1 자기지도 학습 프레임워크가 딥러닝 기반 비디오 블러 제거의 정밀도를 향상시키고 아티팩트를 줄일 수 있는가?
• RQ2 물리 기반 블러 형성 모델을 강제 적용할 경우 복원된 출력의 품질과 일관성은 어떻게 영향을 받는가?
• RQ3 정답 데이터 없이 재블러링을 통한 미세조정이 효과적인가?
• RQ4 블러 형성 모델에서 두 프레임 대비 다수의 프레임을 사용할 경우의 영향은 무엇인가?
• RQ5 개별 이미지 기반의 자기지도 미세조정이 그룹 기반의 미세조정보다 성능이 떨어지는가?

주요 결과

• MCD, DVD, ISOCHART 데이터셋에서 기준 방법 대비 PSNR는 0.9–1.2 dB 향상되고 SSIM은 0.01–0.02 향상된다.
• DeblurGAN-Reblur는 ISOCHART 데이터셋에서 PSNR 31.96, SSIM 0.9814를 기록하여 DeblurGAN(PSNR: 31.89, SSIM: 0.9796)을 초월한다.
• 세 프레임 기반 블러 형성 모델은 두 프레임 버전(PSNR: 25.163, SSIM: 0.869)보다 우수한 성능(PSNR: 25.694, SSIM: 0.880)을 보였다.
• 그룹 기반 미세조정(다수의 이미지에서 수행)이 단일 이미지 기반 미세조정보다 略적으로 우수하여, 더 안정적인 기울기 전파가 가능함을 시사한다.
• 워핑 기반 블러 모델은 미니배치당 10개 이미지 기준 학습 시간을 0.56초로 단축시켜 추론 효율성을 높였다.
• 시각적 비교 결과 Reblur2Deblur는 DeblurGAN이 환영된 세부 정보를 생성하는 것과 달리, 정확한 콘텐츠(예: '1' 대신 '3')를 회복하는 데 성공했다.