[논문 리뷰] Deep Motion Blur Removal Using Noisy/Blurry Image Pairs

Shuang Zhang, Ada Zhen외 1명|arXiv (Cornell University)|2019. 11. 19.

Advanced Image Processing Techniques참고 문헌 39인용 수 4

한 줄 요약

이 논문은 두 가지 새로운 네트워크—DeblurRNN(순차 처리) 및 DeblurMerger(병렬 처리)—를 사용하여 잡음이 많고 흐린 이미지 쌍에서 운동 흐림을 제거하는 딥러닝 프레임워크를 제안한다. 이는 두 이미지에서 유용한 보완 정보를 활용하기 위한 것이다. 이 방법은 합성 및 실세계 데이터 모두에서 이미지 복원 성능이 최신 기술 수준(SOTA)을 달성하며, 단일 이미지 복원 및 버스트 노이즈 제거 기법을 능가한다.

ABSTRACT

Removing spatially variant motion blur from a blurry image is a challenging problem as blur sources are complicated and difficult to model accurately. Recent progress in deep neural networks suggests that kernel free single image deblurring can be efficiently performed, but questions about deblurring performance persist. Thus, we propose to restore a sharp image by fusing a pair of noisy/blurry images captured in a burst. Two neural network structures, DeblurRNN and DeblurMerger, are presented to exploit the pair of images in a sequential manner or parallel manner. To boost the training, gradient loss, adversarial loss and spectral normalization are leveraged. The training dataset that consists of pairs of noisy/blurry images and the corresponding ground truth sharp image is synthesized based on the benchmark dataset GOPRO. We evaluated the trained networks on a variety of synthetic datasets and real image pairs. The results demonstrate that the proposed approach outperforms the state-of-the-art both qualitatively and quantitatively.

연구 동기 및 목표

• 공간적으로 변이되는 운동 흐림을 단일 이미지에서 제거하는 문제에 대응하기 위한 것으로, 이는 정의되지 않은 문제이며 정확히 모델링하기 어려운 도전 과제이다.
• 버스트 촬영으로 촬영된 노이즈가 많고 흐린 이미지 쌍의 보완 정보를 활용하여 이미지 복원 성능을 향상시키기 위한 것이다.
• 학습 및 평가를 위해 GOPRO 벤치마크 기반의 실제적인 합성 데이터셋(잡음이 많고 흐린 이미지 및 진짜 이미지의 삼중조합)을 개발하기 위한 것이다.
• 정량적 및 정성적 지표 모두에서 기존의 단일 이미지 복원 및 버스트 노이즈 제거 기법을 능가하기 위한 것이다.

제안 방법

• DeblurRNN은 노이즈가 많은 이미지를 먼저 노이즈 제거 인코더-디코더로 처리한 후, 은닉 상태를 활용하여 순차적인 RNN 기반 아키텍처를 통해 흐린 이미지의 복원을 안내한다.
• DeblurMerger는 노이즈가 많은 이미지와 흐린 이미지에 대해 병렬로 작동하는 인코더 브랜치를 사용하며, 중간 레이어에서 특징을 융합하고 디코딩하여 날카로운 이미지를 재구성한다.
• 감지기(discriminator)를 통해 적대적 훈련을 적용하여 복원된 출력의 시각적 품질을 향상시키고 잔상(artifacts)을 줄인다.
• 기울기 손실, 스펙트럼 정규화, 시각적 손실을 사용하여 훈련을 안정화시키고 재구성 정확도를 향상시킨다.
• 합성 데이터셋은 GOPRO의 선명한 이미지에서 버스트 촬영을 시뮬레이션하여 생성되며, 운동 흐림과 노이즈를 적용하여 실제적인 잡음이 많고 흐린 쌍과 진짜 선명한 이미지를 포함한 데이터셋을 만든다.
• 픽셀 수준의 정확도와 시각적 현실감을 동시에 최적화하기 위해 L1, 적대적, 시각적 손실의 조합을 사용하여 네트워크를 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 딥 네트워크가 단일 이미지 복원보다 더 날카롭고 깔끔한 이미지를 생성하기 위해 노이즈가 많고 흐린 이미지 쌍을 효과적으로 융합할 수 있는가?
• RQ2 복잡한 공간적으로 변이되는 운동 흐림에 대해 순차적 처리(DeblurRNN)와 병렬 특징 융합(DeblurMerger) 중 어느 것이 더 뛰어난 복원 성능을 낼 수 있는가?
• RQ3 진짜 선명한 이미지가 포함된 잡음이 많고 흐린 이미지 쌍의 합성 데이터셋이 실세계 데이터에 대해 더 뛰어난 일반화 능력과 성능을 가능하게 할 수 있는가?
• RQ4 PSNR, SSIM 및 시각적 품질 측면에서 제안된 방법이 최신 기술 수준의 단일 이미지 복원 및 버스트 노이즈 제거 기법보다 어떻게 비교되는가?

주요 결과

• 제안된 DeblurRNN 및 DeblurMerger 네트워크는 GOPRO2 데이터셋에서 PSNR(32.53)와 SSIM(0.9561)를 기록하여 Noise2Noise(PSNR: 30.91, SSIM: 0.9252)를 능가하며, 노이즈 및 흐림 억제 능력이 뛰어나다.
• 큰 흐림 커널을 가진 합성 데이터셋에서 DeblurRNN 및 DeblurMerger는 반복 잔상(ringing artifacts)과 잔여 흐림으로 어려움을 겪는 SRN 및 DeblurGAN을 능가한다.
• 카메라 진동과 움직이는 물체가 있는 실세계 상황에서 제안된 방법은 HDR+ 및 Ringaby 등과 같은 버스트 노이즈 제거 기법보다 더 나은 세부 정보 및 색상 유지 능력을 보이며, 색상 손실과 겹침 효과(ghosting) 문제를 악화시키지 않는다.
• 노이즈가 많은 이미지와 흐린 이미지를 모두 사용하는 것은 단일 이미지 노이즈 제거 기법(예: Noise2Noise)보다 성능 향상에 기여한다. 노이즈가 많은 이미지는 구조적 사전 지식를 제공하고, 흐린 이미지는 색상과 SNR 측면에서 이점을 제공한다.
• 제안된 합성 데이터셋은 효과적인 훈련을 가능하게 하며, 네트워크는 실세계 이미지 쌍으로도 잘 일반화되어 있어 이 방법의 강건성을 확인한다.