[논문 리뷰] Blur More To Deblur Better: Multi-Blur2Deblur For Efficient Video Deblurring

Dongwon Park, Dong Un Kang외 1명|arXiv (Cornell University)|2020. 12. 23.

Advanced Image Processing Techniques참고 문헌 31인용 수 6

한 줄 요약

이 논문은 다중 블러 입력을 활용하여 성능을 햖थ한 새로운 비디오 디블러킹 프레임워크인 Multi-Blur-to-Deblur(MB2D)를 제안한다. 이는 다중 블러링 순환 신경망(MBRNN)을 사용해 인접한 비디오 프레임들로부터 추가적인 장노출 블러 프레임을 합성함으로써 성능을 향상시킨다. 이러한 합성 블러 입력과 다중 척도 디블러킹 네트워크를 결합한 순환 특징 맵(MSDR)을 활용함으로써, GoPro 및 Su 데이터셋에서 기존 최고 성능(SOTA) 메서드를 상회하는 성능을 달성한다. 파라미터 수는 크게 감소하고 추론 시간도 단축되어, 기존 SOTA 방법 대비 PSNR에서 최대 1.6 dB 향상되고 추론 속도는 최대 6배 빨라진다.

ABSTRACT

One of the key components for video deblurring is how to exploit neighboring frames. Recent state-of-the-art methods either used aligned adjacent frames to the center frame or propagated the information on past frames to the current frame recurrently. Here we propose multi-blur-to-deblur (MB2D), a novel concept to exploit neighboring frames for efficient video deblurring. Firstly, inspired by unsharp masking, we argue that using more blurred images with long exposures as additional inputs significantly improves performance. Secondly, we propose multi-blurring recurrent neural network (MBRNN) that can synthesize more blurred images from neighboring frames, yielding substantially improved performance with existing video deblurring methods. Lastly, we propose multi-scale deblurring with connecting recurrent feature map from MBRNN (MSDR) to achieve state-of-the-art performance on the popular GoPro and Su datasets in fast and memory efficient ways.

연구 동기 및 목표

• 휴대기기에서 발생하는 운동 블러 상황에서 효율적이고 고성능의 비디오 디블러킹 문제를 해결하기 위해.
• 기존 방법들이 시간적 정렬이나 순환 특징 전파에 의존함으로써 높은 계산 비용이나 성능의 상충 문제가 발생하는 것을 해결하기 위해.
• 다양한 노출 수준을 가진 다중 블러 입력을 사용할 경우 디블러킹 성능 향상이 가능한지 탐색하며, 이는 불명확한 마스킹 기법에서 영감을 받았다.
• 기본 아키텍처를 대대적으로 변경하지 않고도 기존 비디오 디블러킹 모델을 향상시킬 수 있는 경량이고 효율적인 프레임워크를 개발하기 위해.

제안 방법

• 다중 블러링에서 디블러킹(MB2D)을 위한 이중 단계 프레임워크 제안: 먼저 추가로 블러된 프레임 생성(더 강한 블러), 그 다음 이들 입력을 사용해 디블러킹 수행.
• 이웃 프레임들로부터 운동 블러 증분을 모델링함으로써 점진적으로 장노출 블러 이미지를 합성하는 다중 블러링 순환 신경망(MBRNN) 도입.
• MBRNN에서 유도된 순환 특징을 다중 척도에서 디블러킹 네트워크에 융합하기 위해 새로운 연결 순환 특징 맵(CRFM) 메커니즘 설계.
• CRFM를 활용한 다중 척도 디블러킹(MSDR)을 통해 공간적 수준 전반에서 특징 표현을 향상시키고 재구성 품질을 개선.
• MBRNN를 기존 비디오 디블러킹 네트워크에 플러그인 모듈로 통합하여, 광학 흐름 또는 정렬 모듈을 대체함으로써 복잡도 감소.
• 예측 품질 및 자연스러운 질감 유지의 목적으로 인지적 손실과 적대적 손실을 함께 사용해 엔드 투 엔드로 훈련.

실험 결과

연구 질문

• RQ1 증가하는 노출 수준을 가진 다수의 블러 입력을 사용할 경우 비디오 디블러킹 성능 향상이 가능한가?
• RQ2 정렬 없이도 순환 네트워크가 이웃 프레임들로부터 장노출 블러 프레임을 효과적으로 합성할 수 있는가?
• RQ3 다중 블러링 네트워크에서 유도된 순환 특징을 디블러킹 네트워크에 연결함으로써 성능 향상과 효율성 향상이 가능한가?
• RQ4 제안된 MB2D 프레임워크는 기존 방법보다 파라미터 수를 줄이고 추론 속도를 높여 SOTA 성능을 달성할 수 있는가?

주요 결과

• GoPro 테스트 세트에서 제안된 MB2D 방법은 PSNR 32.16 dB, SSIM 0.953를 기록하여 이전 SOTA 방법(Pan [15])보다 PSNR에서 0.49 dB 향상되었다.
• Su 데이터셋에서 MB2D는 PSNR 32.34 dB, SSIM 0.947를 달성하여 Pan [15]보다 PSNR에서 0.21 dB 향상되었고, 계산 시간은 크게 단축되었다.
• Pan [15] 대비 네트워크 파라미터 수를 67.5% 감소시켜 5.42M에서 16.19M로 줄였고, 추론 시간은 6.4배 빨라졌다. 성능 향상와 함께 효율성 향상 달성.
• 기타 SOTA 방법들(Tao*, Zhang*, Su*, Pan*)에 적용했을 때 MBRNN은 모든 케이스에서 PSNR를 0.52–1.6 dB 향상시켰다.
• 정성적 결과에서는 STFAN, Kim, Pan과 비교해 빠르게 움직이는 물체나 사람의 디블러킹이 뛰어나며, 더 적은 아티팩트를 보였다.
• 절단 실험을 통해 합성된 다중 블러 입력과 CRFM가 성능 향상에 필수적임을 확인하였고, MB2D 설계의 타당성을 검증하였다.