[논문 리뷰] Clean Images are Hard to Reblur: Exploiting the Ill-Posed Inverse Task for Dynamic Scene Deblurring

Seungjun Nah, Sanghyun Son외 2명|arXiv (Cornell University)|2021. 04. 26.

Advanced Image Processing Techniques인용 수 8

한 줄 요약

이 논문은 동적 장면 복원에서 블러를 직접적으로 타겟으로 삼기 위해 복원의 역작업인 재블러링을 활용하는 새로운 재블러링 손실을 제안한다. 복원 네트워크와 함께 재블러링 모듈을 함께 훈련시킴으로써, 감독 및 자기지도 손실을 통해 시각적 선명도를 향상시키며, GOPRO 및 REDS 벤치마크에서 LPIPS 및 NIQE 점수에서 뚜렷한 향상을 보이며 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

The goal of dynamic scene deblurring is to remove the motion blur in a given image. Typical learning-based approaches implement their solutions by minimizing the L1 or L2 distance between the output and the reference sharp image. Recent attempts adopt visual recognition features in training to improve the perceptual quality. However, those features are primarily designed to capture high-level contexts rather than low-level structures such as blurriness. Instead, we propose a more direct way to make images sharper by exploiting the inverse task of deblurring, namely, reblurring. Reblurring amplifies the remaining blur to rebuild the original blur, however, a well-deblurred clean image with zero-magnitude blur is hard to reblur. Thus, we design two types of reblurring loss functions for better deblurring. The supervised reblurring loss at training stage compares the amplified blur between the deblurred and the sharp images. The self-supervised reblurring loss at inference stage inspects if there noticeable blur remains in the deblurred. Our experimental results on large-scale benchmarks and real images demonstrate the effectiveness of the reblurring losses in improving the perceptual quality of the deblurred images in terms of NIQE and LPIPS scores as well as visual sharpness.

연구 동기 및 목표

• 기존의 학습 기반 복원 방법이 L1, L2 또는 시각적 손실을 사용하더라도 시각적으로 선명한 이미지를 생성하는 데에 한계가 있음을 해결하고자 한다.
• 청결한 이미지는 본질적으로 재블러링하기 어려우므로, 재블러링은 잔여 블러의 민감한 지표가 될 수 있음을 규명하고자 한다.
• 저수준의 블러를 직접 타겟으로 삼는 새로운 최적화 목표인 재블러링 손실을 제안하고자 한다.
• 지상 진실 데이터 없이도 복원 출력을 개선하기 위해 재블러링 모듈을 활용해 테스트 시 자기지도 적응을 가능하게 하고자 한다.

제안 방법

• 이 방법은 복원 네트워크와 복원의 역작업인 재블러링을 수행하는 재블러링 네트워크로 구성된 이중 네트워크 프레임워크를 도입한다.
• 감독형 재블러링 손실은 복원 출력과 지상 진실 선명 이미지 간의 증폭된 블러를 비교하여, 복원 네트워크가 잔여 블러를 최소화하도록 유도한다.
• 자기지도 재블러링 손실은 복원된 이미지가 재블러링될 수 있는지 평가함으로써, 지상 진실 데이터 없이도 테스트 시 적응을 가능하게 한다.
• 재블러링 모듈은 복원된 출력에서 원래의 블러 이미지를 재구성하도록 훈련되며, 성공 여부는 잔여 블러 존재 여부를 나타낸다.
• 손실 함수는 SRN 및 U-Net과 같은 기존 아키텍처에 통합되어 재블러링 감독을 통해 향상된다.
• 테스트 시 적응은 재블러링 손실을 최소화하는 방식으로 반복적으로 복원된 이미지를 정밀하게 다듬음으로써, 실제 이미지의 선명도를 향상시킨다.

실험 결과

연구 질문

• RQ1 재블러링은 복원된 이미지의 잔여 블러에 대해 민감하고 직접적인 지표가 될 수 있는가?
• RQ2 복원의 역작업인 재블러링(즉, 재블러링)을 활용해 복원된 이미지의 시각적 품질을 향상시킬 수 있는가?
• RQ3 자기지도 재블러링 손실을 통해 지상 진실 데이터 없이도 효과적인 테스트 시 적응을 가능하게 할 수 있는가?
• RQ4 기존의 시각적 손실(예: VGG, 적대적 손실)보다 재블러링 손실이 시각적 선명도와 저수준 이미지 품질 향상에 더 뛰어나게 작용하는가?
• RQ5 이 방법은 합성 데이터셋을 넘어서 실제 세계의 블러 이미지에 일반화될 수 있는가?

주요 결과

• GOPRO 데이터셋에서 자기지도 재블러링 손실을 사용한 본 논문의 방법은 LPIPS 점수 0.1037과 NIQE 4.887을 기록했으며, 기준 L1 손실(비교: LPIPS: 0.1246, NIQE: 5.252)을 능가했다.
• 테스트 시 적응을 통해 PSNR와 시각적 지표 간의 트레이드오프를 개선하여, 기준 손실 및 적대적 손실 대비 더 높은 PSNR와 낮은 LPIPS/NIQE 점수를 달성했다.
• REDS 데이터셋에서 U-Net 아키텍처를 사용할 경우 재블러링 손실을 적용한 방법은 PSNR 29.47과 SSIM 0.8839를 기록했으며, L1 기준 대비 뛰어난 성능을 보였다.
• 자기지도 재블러링 손실은 Lai 등(2016)의 실제 세계 이미지에서 뚜렷한 시각적 향상을 이끌어내어 더 선명한 질감과 더 세밀한 디테일을 생성했다.
• 재블러링 손실은 SRN, U-Net 등 여러 아키텍처에서 일관되게 시각적 품질을 향상시켜 일반화 가능성과 강건성을 입증했다.
• 정성적 결과에서는 재블러링 손실을 사용해 복원한 이미지가 DeblurGAN-v2 및 다른 최신 기술 수준(SOTA) 방법 대비 눈에 띄게 더 선명하고 덜 블러링된 것으로 나타났다.