[논문 리뷰] Gradient Step Denoiser for convergent Plug-and-Play

Samuel Hurault, Arthur Leclaire외 1명|arXiv (Cornell University)|2021. 10. 07.

Sparse and Compressive Sensing Techniques참고 문헌 53인용 수 19

한 줄 요약

이 논문은 기존의 PnP-HQS에서 사용하는 전통적 디노이저를 깊이 신경망으로 파arameter화된 기능에 대한 경사 하강 단계로 대체하는 새로운 플러그 앤 플레이(PnP) 프레임워크인 Gradient Step Denoiser(GS-PnP)를 제안한다. 학습 가능한 기능을 통해 디노이저가 프록시 매핑 조건을 만족하도록 하여, 비볼록 데이터 일치 항목이 있는 경우에도 명시적인 전역 기능의 정류점으로 수렴함을 보장한다. 이는 데블러링, 슈퍼레졸루션, 인painting에서 최고 성능을 달성한다.

ABSTRACT

Plug-and-Play methods constitute a class of iterative algorithms for imaging problems where regularization is performed by an off-the-shelf denoiser. Although Plug-and-Play methods can lead to tremendous visual performance for various image problems, the few existing convergence guarantees are based on unrealistic (or suboptimal) hypotheses on the denoiser, or limited to strongly convex data terms. In this work, we propose a new type of Plug-and-Play methods, based on half-quadratic splitting, for which the denoiser is realized as a gradient descent step on a functional parameterized by a deep neural network. Exploiting convergence results for proximal gradient descent algorithms in the non-convex setting, we show that the proposed Plug-and-Play algorithm is a convergent iterative scheme that targets stationary points of an explicit global functional. Besides, experiments show that it is possible to learn such a deep denoiser while not compromising the performance in comparison to other state-of-the-art deep denoisers used in Plug-and-Play schemes. We apply our proximal gradient algorithm to various ill-posed inverse problems, e.g. deblurring, super-resolution and inpainting. For all these applications, numerical results empirically confirm the convergence results. Experiments also show that this new algorithm reaches state-of-the-art performance, both quantitatively and qualitatively.

연구 동기 및 목표

• 일반적인 딥 디노이저를 사용할 때 PnP 방법의 수렴 보장이 부족한 문제를 해결하기 위해.
• 이론적 수렴을 보장하면서도 높은 이미지 복원 성능을 유지하는 PnP 프레임워크를 개발하기 위해.
• 예를 들어 데블러링 및 슈퍼레졸루션과 같은 악조건의 역문제에서 나타나는 비볼록 데이터 일치 항목에 대해서도 수렴을 가능하게 하기 위해.
• 디노이저가 명시적으로 기능과 연결되어 있어 해석 가능성과 수치적 제어가 가능하도록 하기 위해.
• 학습 가능한 디노이저가 수렴 보장을 포기하지 않고도 최고 성능을 달성할 수 있도록 하기 위해.

제안 방법

• PnP-HQS의 정규화 항의 프록시 오퍼레이터를 깊이 신경망으로 파arameter화된 기능에 대한 경사 하강 단계로 대체한다.
• 디노이저는 그 갱신 규칙이 학습 가능한 기능의 경사도와 일치하도록 구성되어 있으며, 이는 ∇g(x) = x − D(x) 조건을 만족함을 보장한다.
• 알고리즘은 반완전 제곱 분할 기반으로 구성되며, 데이터 일치 항목은 큰 스텝 크기 τ를 가진 프록시 단계로 최소화되고, 그 다음에 학습된 기능에 대한 경사 하강 단계로 디노이징이 수행된다.
• 스텝 크기 τ를 적응적으로 조정하기 위해 백트랙킹 선색색법을 사용하여 안정성과 수렴성을 향상시킨다.
• 디노이저는 전체 복원 목표를 최소화하도록 종단 간 학습되며, 기능적 구조를 통해 수렴 보장을 유지한다.
• 이 방법은 동일한 프레임워크를 사용하여 데블러링, 슈퍼레졸루션, 인페인팅과 같은 다양한 역문제에 적용된다.

실험 결과

연구 질문

• RQ1 학습 가능한 기능에 대한 경사 하강 단계를 기반으로 하는 PnP 방법이 비볼록 데이터 일치 항목에 대해 수렴 보장을 달성할 수 있는가?
• RQ2 비슷한 방법이 수렴을 보장하면서도 최고 성능의 이미지 복원 성능을 유지할 수 있는가?
• RQ3 기능에서 유도된 제안된 디노이저가 비볼록 설정에서 수렴을 위한 필수 조건을 만족하는가?
• RQ4 초기화 및 하이퍼파라미터 선택, 특히 σ와 λ에 대해 알고리즘이 얼마나 강건한가?
• RQ5 기존의 PnP 기반 방법인 DPIR 및 RED보다 수렴성과 복원 품질 측면에서 우수한 성능을 보일 수 있는가?

주요 결과

• 제안된 GS-PnP 알고리즘은 디노이저에 대한 약한 가정 하에 비볼록 데이터 일치 항목이 있는 경우에도 명시적인 전역 기능의 정류점으로 수렴함을 보였다.
• GS-PnP에서 잔차 ||x_{k+1} − x_k||²는 약 10⁻¹³에 도달하여 강력한 수렴을 나타내었으며, 반면 DPIR은 수렴하지 못하고 잔차가 약 10⁻⁴ 수준을 유지하였다.
• CBSD10 데이터셋에서 10개의 커널을 사용한 데블러링 작업에서 GS-PnP는 σ/ν = 2일 때 PSNR 32.45 dB를 달성하여 RED 및 기타 베이스라인을 초월하였다.
• 노이즈가 많은 초기화에도 강건함을 보였으며, σ_init = 60/255일 경우에도 PSNR는 안정적이고 시각적으로 일관된 결과를 보였다.
• 인페인팅 및 슈퍼레졸루션 작업에서 GS-PnP는 최고 성능의 PSNR 및 SSIM 점수를 기록하여 다양한 역문제에 대한 일반화 능력을 입증하였다.
• 아블레이션 연구를 통해 백트랙킹 절차가 수렴을 안정화시키고 큰 초기 τ 값 사용을 가능하게 하여 강건성을 향상시켰다.