[논문 리뷰] Deblurring by Realistic Blurring

Kaihao Zhang, Wenhan Luo외 5명|arXiv (Cornell University)|2020. 04. 04.

Advanced Image Processing Techniques참고 문헌 51인용 수 11

한 줄 요약

이 논문은 GAN 기반의 학습-흐림 모듈(BGAN)을 통해 먼저 현실적인 흐림 이미지를 생성하는 데에 초점을 맞춘 새로운 이미지 흐림 제거 프레임워크를 제안한다. 이는 이후 학습-복원 GAN(DBGAN)이 더 선명한 결과를 도출하도록 이끈다. 상대적 흐림 손실과 새로운 실세계 흐림 이미지(RWBI) 데이터셋을 활용하여, GOPRO 및 실세계 벤치마크에서 최신 기술 수준의 정량적 성능과 뛰어난 주관적 품질을 달성한다.

ABSTRACT

Existing deep learning methods for image deblurring typically train models using pairs of sharp images and their blurred counterparts. However, synthetically blurring images do not necessarily model the genuine blurring process in real-world scenarios with sufficient accuracy. To address this problem, we propose a new method which combines two GAN models, i.e., a learning-to-Blur GAN (BGAN) and learning-to-DeBlur GAN (DBGAN), in order to learn a better model for image deblurring by primarily learning how to blur images. The first model, BGAN, learns how to blur sharp images with unpaired sharp and blurry image sets, and then guides the second model, DBGAN, to learn how to correctly deblur such images. In order to reduce the discrepancy between real blur and synthesized blur, a relativistic blur loss is leveraged. As an additional contribution, this paper also introduces a Real-World Blurred Image (RWBI) dataset including diverse blurry images. Our experiments show that the proposed method achieves consistently superior quantitative performance as well as higher perceptual quality on both the newly proposed dataset and the public GOPRO dataset.

연구 동기 및 목표

• 학습 데이터에서의 합성 흐림과 실세계 이미지 흐림 사이의 격차를 해소하여 복원 모델의 일반화 능력을 향상시키기 위해.
• 쌍방향으로 정렬되지 않은 선명한 이미지와 흐린 이미지에서 실질적인 흐림 합성 방법을 학습하여, 훈련 데이터와 실세계 데이터 간의 도메인 격차를 줄이기 위해.
• 복원 전용 훈련에 의존하는 것과는 달리, 흐림 생성 모델(BGAN)과 복원 모델(DBGAN)을 함께 훈련시켜 복원 성능을 향상시키기 위해.
• 실제 복원 모델의 훈련과 평가를 지원하기 위해 새로운 실세계 흐림 이미지(RWBI) 데이터셋을 구축하기 위해.
• 흐림 학습이 복원 학습을 향상시키며, 합성 및 실세계 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 무작위 노이즈를 입력으로 사용하여, 쌍방향으로 정렬되지 않은 선명한 이미지와 흐린 이미지에서 학습된 학습-흐림 GAN(BGAN)이 사진 수준의 현실적인 흐린 이미지를 생성한다.
• BGAN은 실제 흐린 이미지와 합성된 흐린 이미지 간의 차이를 최소화하기 위해 상대적 흐림 손실을 활용하여 현실성 향상.
• 실제 흐린 이미지와 BGAN이 생성한 흐린 이미지를 모두 사용하여, 흐린 입력에서 선명한 이미지를 복원하는 데에 학습-복원 GAN(DBGAN)을 훈련한다.
• 전체 방법 DBGAN(+)은 BGAN에서 추가로 생성된 합성 흐린 이미지를 사용하여 복원 모델을 미세조정함으로써, 강인성과 성능 향상.
• BGAN은 생성된 흐린 이미지가 입력 선명한 이미지의 의미적 내용을 유지하도록 내용 보존 손실을 사용하여 훈련.
• 실세계 시나리오에서의 복원 성능 훈련 및 평가를 위해 새로운 실세계 흐림 이미지(RWBI) 데이터셋을 수집하고 활용.

실험 결과

연구 질문

• RQ1 합성 흐림이 아닌 현실적으로 합성된 흐린 이미지를 사용하여 복원 모델을 훈련하면, 실세계 흐린 이미지에 대해 더 나은 일반화 성능를 보일 수 있는가?
• RQ2 GAN 기반의 흐림 합성 모듈(BGAN)은 선명한 이미지와 무작위 노이즈에서 사진 수준의 현실적인 흐린 이미지를 얼마나 잘 생성하는가?
• RQ3 상대적 흐림 손실을 통합하면 생성된 흐린 이미지의 현실성이 향상되고, 이는 복원 모델의 성능 향상에 기여하는가?
• RQ4 복원 전용 훈련에 비해 흐림 학습을 통합할 경우 복원 모델의 성능 향상 정도는 어느 정도인가?
• RQ5 최근 수집된 실세계 흐림 이미지 데이터셋(RWBI)은 실세계 조건에서 복원 모델 평가에 신뢰할 수 있는 벤치마크로 기능할 수 있는가?

주요 결과

• 제안된 DBGAN(+) 방법은 GOPRO_Large 데이터셋에서 PSNR 31.10과 SSIM 0.9424를 기록하여 이전의 모든 최신 기술 수준 방법을 능가한다.
• GOPRO 데이터셋에서 이전 최신 기술 수준 방법(Gao et al.)에 비해 PSNR 0.18 dB 향상되고 SSIM 0.0003 향상되었다.
• 최근 도입된 RWBI 데이터셋에서 제안된 방법은 특히 복잡한 실세계 흐림 시나리오에서 이전 방법에 비해 눈에 띄게 뛰어난 시각적 품질과 구조적 정밀도를 보였다.
• 제거 실험 결과 BGAN 모듈이 성능 향상에 기여했음을 확인하였으며, 흐림 학습 구성 요소가 없는 DBGAN(-)보다 DBGAN(+)이 더 뛰어난 성능을 보였다.
• 상대적 흐림 손실을 사용함으로써 더 현실적인 흐린 이미지 생성이 가능해졌고, 이는 복원 모델이 미세한 디테일과 질감을 더 잘 복원할 수 있도록 했다.
• 정성적 결과는 제안된 방법이 움직임 흐림 및 복잡한 시나리오에서 더 많은 질감과 에지 디테일을 유지함을 보여주었다.