[논문 리뷰] Video Deblurring by Fitting to Test Data

Xuanchi Ren, Zian Qian외 1명|arXiv (Cornell University)|2020. 12. 09.

Advanced Image Processing Techniques참고 문헌 41인용 수 5

한 줄 요약

이 논문은 시험 영상 내의 선명한 프레임을 활용하여 깊이 학습된 컨volutional 네트워크를 직접 시험 영상에 피팅함으로써 도메인 갭 문제를 제거하는 새로운 비디오 디블러핑 방법을 제안한다. 내부 영상 데이터를 사용한 블러 생성 전략과 손실 재가중 기법을 통해 훈련함으로써, 상태의 기술(SOTA) 수준의 디블러핑 품질과 시간적 일관성을 달성하였으며, 메타학습을 통해 100배 빠른 속도 향상과 함께 성능 손실 없이 성능을 유지한다.

ABSTRACT

Motion blur in videos captured by autonomous vehicles and robots can degrade their perception capability. In this work, we present a novel approach to video deblurring by fitting a deep network to the test video. Our key observation is that some frames in a video with motion blur are much sharper than others, and thus we can transfer the texture information in those sharp frames to blurry frames. Our approach heuristically selects sharp frames from a video and then trains a convolutional neural network on these sharp frames. The trained network often absorbs enough details in the scene to perform deblurring on all the video frames. As an internal learning method, our approach has no domain gap between training and test data, which is a problematic issue for existing video deblurring approaches. The conducted experiments on real-world video data show that our model can reconstruct clearer and sharper videos than state-of-the-art video deblurring approaches. Code and data are available at https://github.com/xrenaa/Deblur-by-Fitting.

연구 동기 및 목표

• 합성 데이터로 훈련된 모델이 실세계 영상에서는 성능이 떨어지는 비디오 디블러핑의 도메인 갭 문제를 해결하기 위해.
• 대규모 사전 훈련 데이터셋이 필요 없는 자기지도 학습, 시험 데이터에 민감한 디블러핑 파이프라인 개발을 위해.
• 내부 영상 통계를 활용하여 실세계 운동 블러 영상에서 디블러핑 품질과 시간적 일관성을 향상시키기 위해.
• 메타학습(MAML)을 적용하여 훈련 과정을 가속화하면서도 품질을 유지하기 위해.
• 공개용 실세계 비디오 디블러핑 데이터셋을 수집하고 배포하여 벤치마킹을 위한 기반을 마련하기 위해.

제안 방법

• 모션 블러 영상 내에서 선명한 프레임을 식별하고, 이를 사용하여 블러링을 위한 경량 컨volutional 네트워크를 훈련한다.
• 대칭 블러 커널을 선명한 프레임에 적용하여 현실적인 운동 블러를 시뮬레이션함으로써 현실적인 훈련 쌍을 생성하는 블러 생성 전략을 사용한다.
• 고주파 영역에 대한 강조를 통해 훈련 중 세밀한 디테일을 유지하기 위해 손실 재가중 기법을 적용한다.
• 블러 생성 과정에서 역 감마 보정을 적용하여 실세계 블러 특성과 더 잘 일치하도록 한다.
• 메타학습(MAML)을 사용하여 네트워크를 초기화함으로써, 각 영상당 훈련 시간을 수 시간에서 약 5분으로 단축시킨다.
• 기존 디블러핑 모델의 출력을 정밀하게 보정하기 위한 후처리 단계로도 활용할 수 있다.

실험 결과

연구 질문

• RQ1 시험 영상의 내부 선명한 프레임만으로 훈련된 딥 러닝 모델이 도메인 이동 없이 뛰어난 디블러핑 성능을 달성할 수 있는가?
• RQ2 대칭 블러 커널과 손실 재가중 기법의 사용이 시간적 일관성과 시각적 품질에 어떤 영향을 미치는가?
• RQ3 메타학습을 통해 시험 데이터에 맞추는 과정을 얼마나 빠르게 가속화할 수 있으며, 디블러핑 품질은 유지되는가?
• RQ4 제안된 방법이 실세계 자율 주행 차량 및 로봇 영상 시나리오에 일반화 가능한가?
• RQ5 내부 학습 접근법이 실세계 영상 데이터에서 기존의 최신 기술보다 뛰어난 성능을 보일 수 있는가?

주요 결과

• 손실 재가중 기법을 사용하지 않은 경우 66.0%의 사용자 선호도를 기록했으며, 대칭 커널과 역 감마 보정을 적용한 경우 84.0%로 상승하였다.
• 모든 비교 방법 중에서 가장 낮은 워핑 오차(0.2630)를 기록하여 뛰어난 시간적 일관성을 입증하였다.
• 사용자 연구 결과, 후처리 후 STFAN의 결과를 86.0%의 참가자가 선호하는 것으로 나타났다.
• MAML를 활용한 가속화된 버전은 영상당 훈련 시간을 수 시간에서 약 5분으로 단축시켰으며, 품질 저하가 최소한이었다.
• 실세계 데이터에서 정량적 지표와 사용자 연구 모두에서 DeblurGAN-v2, EDVR, STFAN를 크게 능가하는 성능을 보였다.
• 70개의 영상으로 구성된 실세계 비디오 디블러핑 데이터셋을 공개하여 향후 벤치마킹에 기여하였다.