[논문 리뷰] Blind Image Deconvolution using Pretrained Generative Priors

Muhammad Asim, Fahad Shamshad외 1명|arXiv (Cornell University)|2019. 08. 20.

Advanced Image Processing Techniques참고 문헌 39인용 수 5

한 줄 요약

이 논문은 이미지와 블러 커널의 사전 정보로 사전 훈련된 딥 생성 모델(GANs 및 VAEs)을 활용하여 잠재 공간에서 교차하는 기울기 하강법을 사용하는 새로운 블라인 이미지 디컨volution 방법을 제안한다. 이 방법은 큰 블러와 강한 노이즈 조건에서도 기존의 엔드 투 엔드 딥 러닝 및 전통적인 사전 기반 방법보다 뛰어난 성능을 보이며, 최신 기술 수준의 복원 성능을 달성한다.

ABSTRACT

This paper proposes a novel approach to regularize the ill-posed blind image deconvolution (blind image deblurring) problem using deep generative networks. We employ two separate deep generative models - one trained to produce sharp images while the other trained to generate blur kernels from lower dimensional parameters. To deblur, we propose an alternating gradient descent scheme operating in the latent lower-dimensional space of each of the pretrained generative models. Our experiments show excellent deblurring results even under large blurs and heavy noise. To improve the performance on rich image datasets not well learned by the generative networks, we present a modification of the proposed scheme that governs the deblurring process under both generative and classical priors.

연구 동기 및 목표

• 수동으로 설계된 사전 정보가 아닌 표현력 있는 딥 생성 사전 정보를 도입하여 블라인 이미지 복원 문제의 불안정한 성격을 해결하고자 한다.
• 기존 방법이 실패하는 큰 블러 커널과 높은 노이즈 수준에 대해 강건성을 향상시키고자 한다.
• 새로운 블러 및 노이즈 분포에 대해 일반화 능력이 떨어지는 엔드 투 엔드 딥 러닝 모델의 한계를 극복하고자 한다.
• 사전 훈련된 생성 모델이 이미지 생성 외의 역영상 문제에서 정규화 요소로 효과적으로 기능할 수 있음을 보여주고자 한다.
• 복잡한 고화질 이미지 데이터셋에서 더 나은 성능을 내기 위해 생성 사전 정보와 전통적 사전 정보를 통합하는 통합 프레임워크를 제공하고자 한다.

제안 방법

• 예측 가능한 이미지와 블러 커널을 위한 별도의 두 개의 딥 생성 모델을 훈련하며, 이는 모두 잠재 공간에서 수행된다.
• 각 생성 모델의 잠재 공간에서 교차 최적화를 수행하여 청소년 이미지와 블러 커널을 복원한다.
• 관측 모델 $ y = i \otimes k + n $ 기반의 데이터 적합성 항목을 최소화하기 위해 기울기 하강법을 사용하며, 동시에 생성 사전 정보를 강제로 적용한다.
• 생성 사전 정보와 전통적 사전 정보(예: 총 변동성, 낮은 랭크)를 조합한 하이브리드 정규화 기법을 도입하여 더 풍부한 데이터셋에서의 성능을 향상시킨다.
• 생성기의 범위가 복잡한 이미지에 대해 충분하지 않을 경우를 대비해 유연한 최적화를 허용하기 위해 슬랙 변수를 도입한다.
• 하이퍼파rameter $\lambda$, $\gamma$ 를 고정하고, 랜덤 재시작을 통해 수렴성과 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 사전 훈련된 딥 생성 모델이 불안정한 블라인 이미지 복원 문제를 효과적으로 정규화할 수 있는가?
• RQ2 큰 블러와 노이즈 조건에서 제안된 방법의 성능이 엔드 투 엔드 딥 러닝 및 전통적 사전 기반 방법보다 어떻게 비교되는가?
• RQ3 생성 모델이 데이터 분포를 완전히 포괄하지 못할 수 있는 복잡하고 풍부한 이미지 데이터셋에 대해 이 방법이 일반화 가능한가?
• RQ4 생성 사전 정보와 전통적 사전 정보를 조합했을 때 복원 성능에 어떤 영향을 미치는가?
• RQ5 훈련 중에 관측하지 못한 블러 크기 및 노이즈 수준의 변동에 대해 이 방법은 얼마나 강건한가?

주요 결과

• CelebA, SVHN, Shoes 데이터셋에서 제안된 방법은 평균 PSNR가 각각 0.88, 0.87, 0.80을 기록하며, 모든 기준 방법보다 뛰어난 성능을 보였다.
• CelebA에서는 SSIM이 0.93, SVHN에서는 0.91를 기록하여 복원된 이미지의 구조적 유사성이 매우 높음을 시사한다.
• 강한 노이즈(최대 10%) 조건에서도 엔드 투 엔드 모델이 고정된 노이즈 수준에서 훈련된 것보다 뛰어난 PSNR 성능을 유지한다.
• 큰 블러 커널 조건에서는 엔드 투 엔드 및 전통적 기준 방법보다 뚜렷이 뛰어나며, 극한의 경우 5 dB 이상의 PSNR 향상을 기록했다.
• 시각적 결과는 완전히 알아볼 수 없을 정도로 흐린 입력에서도 복원된 이미지가 눈에 띄게 선명하고 진짜 이미지에 더 가까운 것으로 나타났다.
• 전통적 사전 정보와의 하이브리드 접근 방식은 생성기의 범위가 충분하지 않은 복잡한 이미지(예: CelebA의 이미지)에서 성능 향상에 기여했다.