[논문 리뷰] Image Restoration and Reconstruction using Variable Splitting and Class-adapted Image Priors

Afonso M. Teodoro, José M. Bioucas‐Dias외 1명|arXiv (Cornell University)|2016. 02. 12.

Sparse and Compressive Sensing Techniques참고 문헌 22인용 수 15

한 줄 요약

이 논문은 ADMM를 통한 변수 분할을 이용해 클래스에 맞는 이미지 복원 및 재구성 방법을 제안하며, 패치 단위 사전으로 GMM(Gaussian Mixture Model)-기반 노이즈 제거기를 통합한다. 특정 이미지 클래스(예: 얼굴, 텍스트)에 대해 GMM를 훈련시킴으로써, 이론적 성능을 뛰어넘는 데블러핑 및 압축 영상 복원에서 최고 성능을 달성한다. 특히 일반적인 노이즈 제거기인 IDD-BM3D보다 클래스에 특화된 데이터에서 뚜렷한 성능 향상을 보인다.

ABSTRACT

This paper proposes using a Gaussian mixture model as a prior, for solving two image inverse problems, namely image deblurring and compressive imaging. We capitalize on the fact that variable splitting algorithms, like ADMM, are able to decouple the handling of the observation operator from that of the regularizer, and plug a state-of-the-art algorithm into the pure denoising step. Furthermore, we show that, when applied to a specific type of image, a Gaussian mixture model trained from an database of images of the same type is able to outperform current state-of-the-art methods.

연구 동기 및 목표

• 일반적인 이미지 사전의 한계를 해결하기 위해, 특정 이미지 클래스에 맞게 사전을 적응시키는 것.
• 학습된 사전를 통한 클래스 특화된 이미지 통계를 활용하여, 이미지 데블러핑 및 압축 영상 복원 성능을 향상시키는 것.
• 학습 가능한, 클래스에 맞는 노이즈 제거기를 기반으로 한 GMM(Gaussian Mixture Models)를 통합한 플러그-앤플레이 ADMM 프레임워크를 확장하는 것.
• 특정 이미지 유형(예: 얼굴, 텍스트)에 대해 훈련된 GMM 기반 사전이 클래스에 특화된 역문제에서 일반적인 최첨단 방법보다 뛰어난 성능을 보임을 입증하는 것.

제안 방법

• 데이터 적합성 항과 정규화 항을 분리하여, 이미지 역문제를 해결하기 위해 분할된 변수를 사용하는 분할된 변수 기반의 ADMM(Alternating Direction Method of Multipliers)를 사용한다.
• 관측 모델(A)과 정규화 항(φ)을 변수 분할을 통해 분리함으로써, 고급 노이즈 제거기의 모듈식 통합을 가능하게 한다.
• 목표 이미지의 동일한 클래스에서 유래한 이미지 패치를 기반으로 훈련된 패치 기반의 가우시안 믹스처 모델(GMM)을 클래스에 맞는 사전로 사용한다.
• GMM 노이즈 제거기를 플러그-앤플레이 구성 요소로 ADMM 프레임워크에 통합하여, 표준 프록시 옵저버 대신 사용한다.
• ADMM 반복 과정에서 이미지 추정치의 변화에 맞춰 GMM 파라미터를 업데이트하며(매 25회 반복마다), 사전을 진화하는 추정치에 적응시킨다.
• 6×6 이미지 패치와 20개 성분의 GMM를 사용하며, 최적 성능 확보를 위해 초모수(예: μ)를 조정한다.

실험 결과

연구 질문

• RQ1 데블러핑 및 압축 영상 복원에서 일반적인 사전 대비 클래스에 맞는 GMM 사전이 이미지 복원 성능을 향상시킬 수 있는가?
• RQ2 GMM 기반 노이즈 제거기를 통합한 플러그-앤플레이 ADMM 프레임워크가 IDD-BM3D와 같은 최첨단 일반적 방법보다 클래스에 특화된 이미지에서 더 나은 성능을 내는가?
• RQ3 압축 영상 복원에서 측정 수의 변화에 따라 제안된 방법의 성능는 어떻게 변하는가?
• RQ4 ADMM 반복 과정에서 GMM 사전를 업데이트하는 것이 재구성 품질에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 얼굴, 텍스트, 의료 영상 등 다양한 이미지 유형 간에 일반화 가능한가?

주요 결과

• 얼굴 및 텍스트 이미지의 데블러핑에서, ADMM-GMM는 IDD-BM3D보다 평균적으로 1.39 dB 높은 ISNR 성능을 보이며, 더 뛰어난 시각적 품질을 확보한다.
• Microsoft 데이터셋에서의 압축 영상 복원 성능 평가에서, ADMM-GMM는 모든 이미지 유형에서 Turbo-GM 대비 최소 2 dB 낮은 NMSE 성능을 달성한다.
• 5000개의 측정값을 사용할 경우, Cameraman 이미지에서 ADMM-GMM는 NMSE -30.04 dB의 성능을 기록하며, Turbo-GM의 -26.02 dB보다 뛰어나다.
• ADMM 반복 과정에서 GMM 사전를 업데이트함으로써 재구성 품질이 향상되었으며, 업데이트하지 않은 경우 대비 NMSE에서 2.33 dB 향상된 성능을 기록했다.
• Microsoft 데이터셋의 타입 1 이미지에서, ADMM-GMM는 측정 수(M)의 다양한 범위에서 Turbo-GM을 항상 앞서며, 모든 M 값에서 낮은 NMSE 성능을 기록한다.
• GMM 사전를 훈련한 동일한 이미지 클래스에 적용할 경우, ADMM-GMM는 데블러핑 및 압축 영상 복원 모두에서 최첨단 성능을 달성한다.