[논문 리뷰] Recovery Analysis for Plug-and-Play Priors using the Restricted Eigenvalue Condition

Jiaming Liu, M. Salman Asif외 2명|arXiv (Cornell University)|2021. 06. 07.

Sparse and Compressive Sensing Techniques인용 수 12

한 줄 요약

이 논문은 복소 센싱에서 플러그 앤 플레이 프라이어(Plug-and-Play Priors, PnP) 및 정규화를 통한 소음 제거(Regularization by Denoising, RED)에 대한 이론적 복구 보장을 처음으로 수립하였다. 이는 소음 제거기의 영역에 대해 제한된 고유값 조건(Restricted Eigenvalue Condition, REC)을 활용하여 이루어졌으며, 사전 훈련된 딥 소음 제거기의 고정점 근처에 위치하는 해가 안정적인 복구를 달성함을 보였다. 실무에서 아티팩트 제거(artifact removal, AR) 소음 제거기는 표준 AWGN 소음 제거기보다 훨씬 뛰어난 성능을 보였다.

ABSTRACT

The plug-and-play priors (PnP) and regularization by denoising (RED) methods have become widely used for solving inverse problems by leveraging pre-trained deep denoisers as image priors. While the empirical imaging performance and the theoretical convergence properties of these algorithms have been widely investigated, their recovery properties have not previously been theoretically analyzed. We address this gap by showing how to establish theoretical recovery guarantees for PnP/RED by assuming that the solution of these methods lies near the fixed-points of a deep neural network. We also present numerical results comparing the recovery performance of PnP/RED in compressive sensing against that of recent compressive sensing algorithms based on generative models. Our numerical results suggest that PnP with a pre-trained artifact removal network provides significantly better results compared to the existing state-of-the-art methods.

연구 동기 및 목표

• PnP/RED 방법은 강력한 경험적 성능를 보이지만 공식적인 복구 분석이 부족한 바, 이에 대한 이론적 간극을 메우기 위함.
• PnP 및 RED 해가 복소 센싱에서 진짜 신호에 가까워지는 조건을 설정하기 위함.
• PnP/RED와 생성 모델 기반 복소 센싱(Compressed Sensing with Generative Models, CSGM) 간의 개념적 관계를 탐구하기 위함.
• 사전 훈련된 아티팩트 제거(AR) 소음 제거기와 표준 AWGN 소음 제거기 간의 PnP/RED 복구 성능를 비교하기 위함.
• PnP/RED에서 정규화가 소음 제거기의 고정점 근처에 위치하는 해를 선호함으로써 달성됨을 보여주며, 이는 희박성 촉진 프라이어와 유사함.

제안 방법

• 소음 제거기의 영역에 적용된 제한된 고유값 조건(REC)의 변형을 바탕으로 이론적 분석을 수행하였으며, 이는 희박한 신호의 안정적 복구를 보장한다.
• 측정 행렬이 소음 제거기의 영역에서 REC를 만족할 경우, PnP/RED 해와 진짜 신호 사이의 거리가 명시적으로 유계임을 보였다.
• PnP 및 RED 해가 일치할 충분한 조건을 유도하였으며, 특정 가정 하에 정확한 복구가 가능함을 보였다.
• 이 프레임워크는 해가 소음 제거기의 고정점 근처에 위치한다고 가정하며, PnP/RED가 고정점 근처의 이미지를 선호함으로써 정규화가 이루어짐을 수식화하였다.
• 수치 실험을 통해 무작위 투영 및 부분 추출된 푸리에 측정치를 사용한 최신 CSGM 방법과 PnP/RED를 비교하였다.
• 사전 훈련된 아티팩트 제거(AR) 소음 제거기를 사용하였으며, 표준 AWGN 소음 제거기와 비교하였으며, 잔차 노름 $\|\mathsf{R}(\mathbf{x})\|_2^2 = \|\mathbf{x} - \mathsf{D}(\mathbf{x})\|_2^2$ 을 통해 수렴성을 모니터링하였다.

실험 결과

연구 질문

• RQ1 복소 센싱에서 PnP/RED에 대해 이론적 복구 보장을 수립할 수 있는 조건는 무엇인가?
• RQ2 PnP/RED의 성능는 복소 센싱에서 최신 생성 모델 기반 방법과 비교해 어떻게 되는가?
• RQ3 소음 제거기의 고정점은 PnP/RED의 정규화 메커니즘에서 어떤 역할을 하는가?
• RQ4 왜 아티팩트 제거(AR) 소음 제거기가 PnP/RED 복구에서 표준 AWGN 소음 제거기보다 성능이 뛰어나게 되는가?
• RQ5 CSGM에 대한 이론적 복구 프레임워크는 소음 제거기의 영역에 대해 REC를 가정함으로써 PnP/RED에 적응시킬 수 있는가?

주요 결과

• 측정 행렬이 소음 제거기의 영역에서 제한된 고유값 조건을 만족할 경우, PnP/RED 해는 진짜 신호에 가까워짐을 보장한다.
• 이론적 분석을 통해 PnP 및 RED 해가 충분한 조건을 만족할 경우 일치함을 보였으며, 이러한 조건이 충족되면 정확한 복구가 가능하다.
• 수치 결과는 사전 훈련된 아티팩트 제거(AR) 소음 제거기를 사용한 PnP가 최신 CSGM 방법보다 훨씬 뛰어난 재구성 성능를 보임을 보여준다.
• Set11에서의 PSNR 결과는 잔차 노름 1.0일 때 PnP(AR)가 72.72 dB를 기록하여 동일 조건에서 PnP(소음 제거기)의 65.76 dB를 뛰어넘었다.
• 해가 소음 제거기의 고정점에 가까워질수록 세부 정보가 손실되어 시각적 품질이 떨어지므로, 최적의 성능는 고정점에 도달하기는 하지만 그곳에 정확히 위치하지는 않는다는 점을 시사한다.
• 시각적 비교 결과, PnP(AR)는 StyleGAN2를 사용한 ILO와 유사한 날카운 이미지를 생성함을 확인하였으며, 표준 소음 제거기보다 AR 연산자를 사용함으로써 유의미한 이점이 있음을 보여준다.