[논문 리뷰] Neural Blind Deconvolution Using Deep Priors

Dongwei Ren, Kai Zhang외 3명|arXiv (Cornell University)|2019. 08. 06.

Advanced Image Processing Techniques참고 문헌 55인용 수 6

한 줄 요약

이 논문은 깊이 있는 사전 지식을 모델링하기 위해 스위프 커넥션을 갖춘 비대칭 오토인코더를 사용하고, 블러 커널 사전 지식을 모델링하기 위해 소프트맥스 출력을 갖춘 완전 연결 네트워크를 사용하는 신경망 블라인 디컨볼루션 방법 SelfDeblur를 제안한다. 이 방법은 쌍화된 학습 데이터가 필요 없이 뿌연 입력 이미지만으로도 비제약 신경 최적화를 수행하여 벤치마크 및 실세계 데이터셋에서 최신 기준 수준의 정량적·정성적 성능을 달성한다.

ABSTRACT

Blind deconvolution is a classical yet challenging low-level vision problem with many real-world applications. Traditional maximum a posterior (MAP) based methods rely heavily on fixed and handcrafted priors that certainly are insufficient in characterizing clean images and blur kernels, and usually adopt specially designed alternating minimization to avoid trivial solution. In contrast, existing deep motion deblurring networks learn from massive training images the mapping to clean image or blur kernel, but are limited in handling various complex and large size blur kernels. To connect MAP and deep models, we in this paper present two generative networks for respectively modeling the deep priors of clean image and blur kernel, and propose an unconstrained neural optimization solution to blind deconvolution. In particular, we adopt an asymmetric Autoencoder with skip connections for generating latent clean image, and a fully-connected network (FCN) for generating blur kernel. Moreover, the SoftMax nonlinearity is applied to the output layer of FCN to meet the non-negative and equality constraints. The process of neural optimization can be explained as a kind of "zero-shot" self-supervised learning of the generative networks, and thus our proposed method is dubbed SelfDeblur. Experimental results show that our SelfDeblur can achieve notable quantitative gains as well as more visually plausible deblurring results in comparison to state-of-the-art blind deconvolution methods on benchmark datasets and real-world blurry images. The source code is available at https://github.com/csdwren/SelfDeblur

연구 동기 및 목표

• 수작업으로 구성된 사전 지식에 의존하고 잠재적 해를 유발하는 전통적인 MAP 기반 블라인 디컨볼루션의 한계를 해결한다.
• 복잡하고 크기가 큰 블러 커널을 다루기 어려운 딥 러닝 기반 디블러링 방법의 제약을 극복한다.
• 쌍화된 학습 데이터가 필요 없이 종단 간(end-to-end) 자기지도 학습 최적화 프레임워크에서 깊이 있는 이미지 사전 지식과 커널 사전 지식을 통합한다.
• 쌍화된 학습 데이터 없이 뿌연 입력 이미지만으로도 깨끗한 이미지와 블러 커널 추정을 동시에 최적화하는 제로샷, 자기지도 학습 접근법을 개발한다.
• 전용 깊이 생성 네트워크를 통해 이미지와 커널 사전 지식을 모델링하여 블라인 디컨볼루션의 시각적 품질과 정량적 성능을 향상시킨다.

제안 방법

• 잠재된 깨끗한 이미지 $\mathbf{x}$ 의 깊이 있는 사전 지식을 학습하기 위해 스위프 커넥션을 갖춘 비대칭 오토인코더를 이미지 생성 네트워크 $\mathcal{G}_x$ 로 사용한다.
• 블러 커널 사전 지식을 모델링하기 위해 완전 연결 네트워크 $\mathcal{G}_k$ 를 사용하며, 출력층에 소프트맥스 비선형성을 적용하여 음수 제약과 합이 1이 되는 조건을 강제한다.
• 관측된 뿌연 이미지와 추정된 뿌연 이미지 사이의 데이터 적합성 손실을 최소화하는 방식으로 블라인 디컨볼루션 문제를 비제약 신경 최적화 과제로 재구성한다.
• 백프로파게이션을 사용하여 $\mathcal{G}_x$ 와 $\mathcal{G}_k$ 를 동시에 최적화함으로써 감독 없이 종단 간 학습이 가능하도록 한다.
• 학습 중에 추정된 커널을 사용하여 가역적인 블러 연산을 적용하여 뿌연 이미지를 재구성한다.
• 비비블라인 디컨볼루션 기법 [20] 을 후처리 단계로 통합하여 성능을 추가로 향상시키며, 이를 SelfDeblurΔ 로 표기한다.

실험 결과

연구 질문

• RQ1 쌍화된 학습 데이터가 없이도 종단 간 자기지도 학습 기반의 딥 러닝 프레임워크가 깨끗한 이미지와 블러 커널의 사전 지식을 효과적으로 모델링할 수 있는가?
• RQ2 완전 연결 네트워크에 소프트맥스 출력을 사용할 경우, 컨볼루션 네트워크에 비해 블러 커널의 구조적 특성과 제약 조건을 더 잘 포착할 수 있는가?
• RQ3 제안된 비제약 신경 최적화 전략이 전통적인 교차 최소화 방식에 비해 잠재적 해를 피하고 수렴 성능을 향상시키는가?
• RQ4 이 방법은 합성 벤치마크를 넘어서 복잡하고 크기가 큰 블러 커널을 가진 실세계 뿌연 이미지에 일반화 가능한가?
• RQ5 이미지와 커널 사전 지식을 동시에 최적화함으로써 시각적 품질과 정량적 지표가 최신 기준 수준의 방법에 비해 얼마나 향상되는가?

주요 결과

• SelfDeblur 는 Berkeley2000 및 Lai et al. [18] 벤치마크에서 최신 기준 수준의 PSNR 와 오차 비율을 달성하여 경쟁 방법들을 크게 능가한다.
• Lai et al. [18] 데이터셋에서 SelfDeblur 는 이미지 콘텐츠 품질 측면에서 모든 다섯 가지 카테고리(인공물, 자연, 인물, 과포화, 텍스트)에서 모든 베이스라인을 압도한다.
• 시각적 및 정량적 분석을 통해 SelfDeblur 가 Xu&Jia [48], Pan-DCP [29] 및 기타 방법보다 더 정확한 블러 커널을 추정함을 확인하였다.
• 시각적 비교 결과 SelfDeblur 는 특히 실세계 이미지에서 더 현실적인 질감을 복원하고 리버버버션 아티팩트를 줄여 더 시각적으로 타당한 결과를 생성한다.
• SelfDeblur 와 비블라인 디컨볼루션을 조합한 SelfDeblurΔ 는 성능을 추가로 향상시키며, PSNR 와 오차 비율 모두에서 모든 다른 방법들을 능가한다.
• 이 방법은 다양한 크기의 블러 커널과 노이즈 수준에 대해 강건하며, 다양한 실세계 및 합성 뿌연 이미지에서 일관된 성능을 유지한다.