[논문 리뷰] Scene-Adapted Plug-and-Play Algorithm with Guaranteed Convergence: Applications to Data Fusion in Imaging

Afonso M. Teodoro, José M. Bioucas‐Dias외 1명|arXiv (Cornell University)|2018. 01. 02.

Image and Signal Denoising Methods참고 문헌 34인용 수 10

한 줄 요약

이 논문은 재구성 중인 특정 장면에 맞게 조정된 가우시안 믹스처 모델(GMM) 기반 노이즈 제거기를 표준 프록시멀 연산자 대신 사용하는 장면 적응형 플러그 앤 플레이 ADMM 알고리즘을 제안한다. GMM 노이즈 제거기의 사후 확률 가중치를 고정함으로써, 명시적으로 특정된 목적 함수의 전역 최솟값으로 수렴함을 보장하며, 이는 고분광 샤프닝 및 노이즈/흐림 쌍에서의 이미지 복원과 같은 문제에서 증명 가능한 수렴성을 가능하게 한다.

ABSTRACT

The recently proposed plug-and-play (PnP) framework allows leveraging recent developments in image denoising to tackle other, more involved, imaging inverse problems. In a PnP method, a black-box denoiser is plugged into an iterative algorithm, taking the place of a formal denoising step that corresponds to the proximity operator of some convex regularizer. While this approach offers flexibility and excellent performance, convergence of the resulting algorithm may be hard to analyze, as most state-of-the-art denoisers lack an explicit underlying objective function. In this paper, we propose a PnP approach where a scene-adapted prior (i.e., where the denoiser is targeted to the specific scene being imaged) is plugged into ADMM (alternating direction method of multipliers), and prove convergence of the resulting algorithm. Finally, we apply the proposed framework in two different imaging inverse problems: hyperspectral sharpening/fusion and image deblurring from blurred/noisy image pairs.

연구 동기 및 목표

• 블랙박스 노이즈 제거기를 사용할 때, 특히 비볼록인 최신 기술의 노이즈 제거기들을 적용할 경우 수렴 보장을 제공하지 못하는 플러그 앤 플레이(PnP) 방법의 한계를 해결하고자 한다.
• 일반적인 클래스 기반 사전 지식이 아닌, 특정 이미지 장면에 맞게 특화된 사전 지식을 활용하는 PnP 프레임워크를 개발하고자 한다.
• GMM 기반 노이즈 제거기를 사용하는 최종 PnP-ADMM 알고리즘이 명시적으로 특정된 목적 함수의 전역 최솟값으로 수렴함을 증명하고자 한다.
• 이 알고리즘을 고분광 샤프닝 및 노이즈/흐림 쌍으로부터의 이미지 복원과 같은 두 가지 과도한 이미징 역문제에 적용하고자 한다.
• 일반 목적 또는 클래스 기반 사전 지식보다 장면 적응형 노이즈 제거기가 재구성 품질 향상에 기여함을 보여주고자 한다.

제안 방법

• ADMM의 표준 프록시멀 연산자를, 재구성 중인 특정 장면에 맞게 조정된 GMM 기반 노이즈 제거기로 대체한다. 이 노이즈 제거기는 이미지 자체의 패치 기반 통계를 활용한다.
• 노이즈 제거기의 사후 확률 가중치를 추론 중에 고정시킴으로써, 노이즈 제거기가 볼록이고 명시적으로 정의된 목적 함수의 프록시멀 연산자로 변환되도록 수정한다.
• 수렴성을 증명하기 위해, 노이즈 제거기가 닫힘, 적절하고 볼록인 함수의 프록시멀 연산자 조건을 만족함을 보여줌으로써, 최종 PnP-ADMM 알고리즘의 수렴성을 입증한다.
• 이미지를 패치 기반으로 표현하며, 겹치는 패치를 사용하고, 비겹치는 패치의 분할을 통해 블록 대각 행렬의 구조를 유도함으로써 고유값 분석을 가능하게 한다.
• 목적 함수는 이차 데이터 일치 항과 GMM 사전 지식에서 유도된 볼록 정규화 항의 합으로 명시적으로 특정되며, 정규화 행렬은 패치의 공분산 행렬의 고유분해로부터 유도된다.
• GMM 노이즈 제거기가 사후 확률 가중치를 고정할 경우 선형 연산자가 되며, 이에 따라 ADMM 수렴에 필요한 조건을 충족하는 행렬 표현을 갖게 된다는 사실을 활용한다.

실험 결과

연구 질문

• RQ1 장면 적응형 비볼록 노이즈 제거기를 사용하는 플러그 앤 플레이 ADMM 알고리즘이 수렴 보장을 받을 수 있는가?
• RQ2 만약 그렇다면, 이 알고리즘이 명시적으로 특정된 목적 함수의 전역 최솟값으로 수렴하는가?
• RQ3 특정 장면에 맞게 조정된 GMM 기반 노이즈 제거기가 볼록 함수의 프록시멀 연산자로 작용할 수 있음을 입증할 수 있는가?
• RQ4 장면 적응형 노이즈 제거기는 클래스 기반 또는 일반 목적의 노이즈 제거기와 비교해 이미징 역문제에서 어떤 성능을 보이는가?
• RQ5 제안된 프레임워크는 고분광 샤프닝 및 노이즈/흐림 쌍으로부터의 이미지 복원에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 장면 적응형 GMM 기반 노이즈 제거기를 사용하는 제안된 PnP-ADMM 알고리즘은 명확히 정의된 볼록 목적 함수의 전역 최솟값으로 수렴함이 보장된다.
• 사후 확률 가중치를 고정한 GMM 기반 노이즈 제거기는 프록시멀 연산자의 조건을 충족함을 입증하여 수렴성 증명이 가능하다.
• 고분광 샤프닝 문제에서 경쟁적인 성능을 달성하며, 스펙트럼 및 공간 해상도의 정밀도에서 최신 기술을 초월한다.
• 노이즈/흐림 쌍으로부터의 이미지 복원 문제에서, 기준 방법 대비 낮은 RMSE 및 높은 SSIM 값을 기록하여 뛰어난 재구성 품질을 확보한다.
• 장면 적응형 사전 지식을 사용할 경우 일반 목적 또는 클래스 기반 사전 지식보다 더 나은 세부 구조 및 무늬의 보존 성능을 보인다.
• 이론적 분석을 통해 알고리즘의 수렴성이 노이즈 제거기가 사전에 프록시멀 연산자여야 한다는 조건에 의존하지 않으며, 고정된 사후 가중치 설계 덕분에 보장된다는 것이 확인되었다.