[논문 리뷰] Plug-and-Play Methods for Integrating Physical and Learned Models in Computational Imaging

Ulugbek S. Kamilov, Charles A. Bouman외 2명|arXiv (Cornell University)|2022. 03. 31.

Mathematical Biology Tumor Growth인용 수 24

한 줄 요약

PnP 방법은 물리적 측정 모델과 학습된 사전 정보를 proximal 단계 대신 denoiser로 대체하여 이미지 모달리티 전반에 걸친 유연하고 모듈식 재구성을 가능하게 한다. 이 논문은 기초, 변형, 수렴성 및 응용을 검토하고, 평형 형식화 및 온라인/DU/DEQ 확장에 대해 논의한다.

ABSTRACT

Plug-and-Play Priors (PnP) is one of the most widely-used frameworks for solving computational imaging problems through the integration of physical models and learned models. PnP leverages high-fidelity physical sensor models and powerful machine learning methods for prior modeling of data to provide state-of-the-art reconstruction algorithms. PnP algorithms alternate between minimizing a data-fidelity term to promote data consistency and imposing a learned regularizer in the form of an image denoiser. Recent highly-successful applications of PnP algorithms include bio-microscopy, computerized tomography, magnetic resonance imaging, and joint ptycho-tomography. This article presents a unified and principled review of PnP by tracing its roots, describing its major variations, summarizing main results, and discussing applications in computational imaging. We also point the way towards further developments by discussing recent results on equilibrium equations that formulate the problem associated with PnP algorithms.

연구 동기 및 목표

• PnP 프레임워크를 데이터 적합성과 학습된 사전을 역영상 문제에서 모듈식 접근 방식으로 동기 부여하고 형식화한다.
• 역사적 발전, 핵심 알고리즘(PnP-ADMM, PnP-FISTA) 및 확장(온라인 PnP, RED)을 이론적 수렴 통찰과 함께 요약한다.
• 노이즈 제거기를 초해상 해상기로 바꾸는 등 실용적 구현과 측정 연산자 간에 사전을 적용하는 것을 강조한다.
• 평형 형식화와 딥 언폴딩(DU) 및 딥 이퀴버리(DEQ) 모델과의 연계를 논의한다.
• PnP 방법의 한계, 트레이드오프 및 향후 연구 방향을 식별한다.

제안 방법

• 복합 목적 함수 f(x)=g(x)+h(x)와 Proximal 알고리즘(ADMM, FISTA)을 PnP 변형의 기초로 설명한다.
• ADMM/FISTA에서 근접 연산자 prox_{γh}를 블랙박스 denoiser D로 교체하여 PnP-ADMM와 PnP-FISTA를 만든다.
• 사전 학습된 denoiser가 이미지 사전으로 작동하는 방식과 데이터 적합 업데이트가 학습된 사전으로부터 분리되어 모듈화를 촉진하는 방식.
• 합의 평형을 통한 수렴과 PnP/RED 변형에 대한 조건(예: 수축 연산자, Lipschitz 연산자 등)을 논의한다.
• 대용량 데이터 처리를 위해 온라인/미니배치 변형(Online PnP, SIMBA)을 제시하여 반복당 비용을 줄인다.
• 특정 측정 모델에 대해 학습된 사전(AR 연산자)을 사용하여 PnP 반복을 언롤링하거나 암시적으로 미분하여 DU/DEQ 프레임워크와 연결한다.

실험 결과

연구 질문

• RQ1 학습된 denoiser를 물리적 순전파 모델과 통합하여 역영상 문제를 모듈식이고 플러그 앤 플레이 방식으로 해결할 수 있는가?
• RQ2 다양한 denoiser 및 데이터 적합성 가정하에서 PnP 방법의 수렴 특성 및 이론적 보장은 무엇인가?
• RQ3 PnP를 온라인/대규모 설정 및 서로 다른 측정 연산자에 맞게 사전 재훈련 없이 어떻게 적응시킬 수 있는가?
• RQ4 평형 및 DU/DEQ 해석의 역할은 PnP 재구성의 이해와 개선에 어떤 의미가 있는가?
• RQ5 문제 특정 아티팩트 제거 사전과 일반 AWGN denoiser를 사용할 때의 실용적 성능 향상은 무엇인가?

주요 결과

• PnP는 근접 단계를 denoiser로 대체하여 이미지 문제 전반에서 데이터 적합성과 학습된 사전의 모듈식 통합을 가능하게 한다.
• PnP-ADMM 및 PnP-FISTA는 순전파 모델 업데이트를 노이즈 제거와 분리하여 서로 다른 측정 연산자에서도 동일한 denoiser를 재사용할 수 있게 한다.
• 합의 평형(consensus equilibrium) 같은 평형 형식은 블랙박스 denoisers를 사용할 때 수렴성을 분석하는 프레임워크를 제공한다.
• 온라인 PnP와 SIMBA는 측정치의 미니배치나 블록을 사용하여 대규모 문제에서 반복당 비용을 줄이고, 확률적 경사 하에서의 수렴 분석을 제공한다.
• DU/DEQ 확장은 순전파 모델 맥락에서 denoisers를 학습시키며, 아티팩트 제거 사전 또는 엔드투엔드 학습 중 하나를 사용하여 성능을 향상시키지만 일반성은 감소한다.
• 실험 결과(예: 그림 6)는 특정 문제에 특화된 아티팩트 제거 사전이 특정 압축센싱 및 IDT 토모그래피 시나리오에서 일반 AWGN denoiser보다 우수할 수 있음을 보여주며, 상대 PSNR/SSIM이 그림에 보고된다.