[논문 리뷰] DeblurGAN-v2: Deblurring (Orders-of-Magnitude) Faster and Better

Orest Kupyn, Tetiana Martyniuk외 2명|arXiv (Cornell University)|2019. 08. 10.

Advanced Image Processing Techniques참고 문헌 50인용 수 112

한 줄 요약

DeblurGAN-v2는 Feature Pyramid Network(FPN)과 이중 규모 RaGAN-LS 판별기를 갖춘 유연하고 backbone-agnostic GAN 프레임워크를 도입하여, 매우 높은 효율성으로 최첨단 또는 거의 최첨단의 디블러링을 달성하며 실제 실시간이 가능한 경량 백본을 포함합니다.

ABSTRACT

We present a new end-to-end generative adversarial network (GAN) for single image motion deblurring, named DeblurGAN-v2, which considerably boosts state-of-the-art deblurring efficiency, quality, and flexibility. DeblurGAN-v2 is based on a relativistic conditional GAN with a double-scale discriminator. For the first time, we introduce the Feature Pyramid Network into deblurring, as a core building block in the generator of DeblurGAN-v2. It can flexibly work with a wide range of backbones, to navigate the balance between performance and efficiency. The plug-in of sophisticated backbones (e.g., Inception-ResNet-v2) can lead to solid state-of-the-art deblurring. Meanwhile, with light-weight backbones (e.g., MobileNet and its variants), DeblurGAN-v2 reaches 10-100 times faster than the nearest competitors, while maintaining close to state-of-the-art results, implying the option of real-time video deblurring. We demonstrate that DeblurGAN-v2 obtains very competitive performance on several popular benchmarks, in terms of deblurring quality (both objective and subjective), as well as efficiency. Besides, we show the architecture to be effective for general image restoration tasks too. Our codes, models and data are available at: https://github.com/KupynOrest/DeblurGANv2

연구 동기 및 목표

• 단일 이미지 모션 디블러링을 GAN 기반의 엔드-투-엔드 프레임워크로 해결한다.
• 제너레이터의 일부로 Feature Pyramid Network(FPN)를 도입하여 다중 스케일 특징을 효율적으로 융합한다.
• 정확도와 속도 간의 trade-off를 가능하게 하는 백본의 유연성을 확보한다(예: Inception-ResNet-v2 대 MobileNet 계열).
• 안정적인 학습과 더 나은 지각 품질을 위한 이중 규모의 상대적 RaLSGAN 손실을 갖춘 판별기 설계를 강화한다.
• 벤치마크 전반에서의 효율성 및 품질을 입증하고 일반적인 이미지 복원 문제에도 적용 가능성을 보여준다.

제안 방법

• 다층 입력에서 선명한 이미지를 생성하기 위해 Feature Pyramid Network를 포함하는 제너레이터를 가진 조건부 GAN 프레임워크를 사용한다.
• 글로벌 및 패치 레벨(로컬) 가지를 가진 다중 스케일 컨텍스트를 위한 이중 규모 RaGAN-LS 판별기를 채택한다.
• 학습 안정성과 지각 품질 향상을 위해 DeblurGAN-v1/WGAN-GP를 RaGAN-LS 손실로 대체한다.
• 백본을 Plug-and-Play 방식으로 만들어 고품질을 위한 Inception-ResNet-v2와 효율성을 위한 MobileNet/MobileNet-DSC 같은 백본을 가능하게 한다.
• 훈련 시 L_G = 0.5*L_p + 0.006*L_X + 0.01*L_adv로 하이브리드 손실을 사용하며, L_p는 픽셀의 MSE이고 L_X는 VGG 특징에서의 perceptual 손실이다.
• 데이터 준비를 포함한 프레임 보간과 같은 입력 처리로 학습을 위한 더 매끄러운 블러를 합성한다.

실험 결과

연구 질문

• RQ1 DeblurGAN-v2가 이전 방법들보다 더 높은 또는 동등한 디블러링 품질을 달성하면서 추론 속도를 크게 향상시킬 수 있는가?
• RQ2 FPN 및 이중 규모 RaGAN-LS 판별기의 도입이 복원 품질과 학습 안정성에 어떤 영향을 미치는가?
• RQ3 백본의 선택이 DeblurGAN-v2의 정확도/효율성 트레이드오프에 어떤 영향을 미치는가?
• RQ4 프레임워크가 디블러링을 넘어서 일반 이미지 복원 작업에도 확장 가능한가?

주요 결과

• 가벼운 백본(MobileNet, MobileNet-DSC)을 사용하는 DeblurGAN-v2는 이전 방법들에 비해 최대 100x 더 빠른 추론 속도를 달성하면서도 SSIM/PSNR이 경쟁력을 유지한다.
• DeblurGAN-v2(Inception-ResNet-v2)는 GoPro에서 가장 높은 정량적 SSIM/PSNR을 달성하였으며 SRN에 비해 추론 시간이 현저히 낮다.
• MobileNet-DSC 버전은 GoPro 규모 데이터에서 이미지당 0.04초의 실제 거의 실시간 프레임 속도 디블러링을 가능하게 한다.
• 제안된 FPN과 이중 규모 RaGAN-LS 판별기가 DeblurGAN 베이스라인 대비 PSNR/SSIM을 일관되게 향상시킨다(적분 분석에서).
• 주관적 연구에서 DeblurGAN-v2(특히 Inception-ResNet-v2 사용 시)가 이전 방법들에 비해 지각 품질이 우수한 것으로 나타났고, 모바일 백본의 경우도 시각적으로 경쟁력이 있다.
• DeblurGAN-v2는 디블러링을 넘어 일반 이미지 복원 작업에도 가능성이 있음을 보인다.