[논문 리뷰] Proximal Denoiser for Convergent Plug-and-Play Optimization with Nonconvex Regularization

Samuel Hurault, Arthur Leclaire외 1명|arXiv (Cornell University)|2022. 01. 31.

Photoacoustic and Ultrasonic Imaging인용 수 11

한 줄 요약

이 논문은 비볼록이고 미분 가능한 정규화 함수의 프록시털 연산자로 작용하는 딥 뉴럴 네트워크에서 유도된 프록시털 디노이저를 제안하며, 비볼록 정규화를 사용하는 플러그 앤 플레이(PnP) 최적화에 수렴 보장을 가능하게 한다. 기울기 기반 디노이저가 프록시털 연산자에 해당함을 보여줌으로써, 저자들은 PnP-PGD와 PnP-ADMM가 명시적 기능의 정류점으로 수렴함을 입증한다. 이는 디블러링, 슈퍼레졸루션, 인painting 실험을 통해 최신 기술 수준의 성능으로 검증되었다.

ABSTRACT

Plug-and-Play (PnP) methods solve ill-posed inverse problems through iterative proximal algorithms by replacing a proximal operator by a denoising operation. When applied with deep neural network denoisers, these methods have shown state-of-the-art visual performance for image restoration problems. However, their theoretical convergence analysis is still incomplete. Most of the existing convergence results consider nonexpansive denoisers, which is non-realistic, or limit their analysis to strongly convex data-fidelity terms in the inverse problem to solve. Recently, it was proposed to train the denoiser as a gradient descent step on a functional parameterized by a deep neural network. Using such a denoiser guarantees the convergence of the PnP version of the Half-Quadratic-Splitting (PnP-HQS) iterative algorithm. In this paper, we show that this gradient denoiser can actually correspond to the proximal operator of another scalar function. Given this new result, we exploit the convergence theory of proximal algorithms in the nonconvex setting to obtain convergence results for PnP-PGD (Proximal Gradient Descent) and PnP-ADMM (Alternating Direction Method of Multipliers). When built on top of a smooth gradient denoiser, we show that PnP-PGD and PnP-ADMM are convergent and target stationary points of an explicit functional. These convergence results are confirmed with numerical experiments on deblurring, super-resolution and inpainting.

연구 동기 및 목표

• 딥 뉴럴 네트워크 기반 디노이저를 사용하는 플러그 앤 플레이(PnP) 방법에서 이론적 수렴 보장의 부족을 해결하기 위해.
• 신경망을 통해 훈련된 기울기 단계 디노이저가 비볼록이고 미분 가능한 함수의 정확한 프록시털 연산자로 해석될 수 있음을 확립하기 위해.
• PnP 최적화에서 볼록 설정에서의 수렴 이론을 비볼록 설정으로 확장하여, PnP-PGD와 PnP-ADMM의 엄밀한 분석을 가능하게 하기 위해.
• 딥 디노이저를 사용하는 PnP 방법에 대한 이론적 기반을 제공하여, 명시적 기능의 정류점으로의 수렴을 보장하기 위해.
• 디블러링, 슈퍼레졸루션, 인painting과 같은 이미지 복원 작업에서 제안된 프레임워크를 실험적으로 검증하여 수렴성과 성능 향상을 확보하기 위해.

제안 방법

• 디노이저는 $ D_{\rho} = \text{Id} - \nabla g_{\sigma} $로 정의되며, 여기서 $ g_{\sigma} $는 스칼라 함수를 매개변수화하는 미분 가능한 신경망이다.
• 이론적 분석을 통해 이 기울기 기반 디노이저가 비볼록이고 미분 가능한 함수 $ g $의 프록시털 연산자와 동치임을 입증하며, Moreau와 Gribonval의 접근자 특성화 결과를 활용한다.
• 등가성 덕분에 비볼록 설정에서도 프록시털 알고리즘 수렴 이론을 PnP-PGD와 PnP-ADMM에 적용할 수 있다.
• PnP-PGD와 PnP-ADMM 알고리즘은 프록시털 디노이저를 사용하여 재정의되어, 기능 $ F_{\lambda,\sigma}(x) = \lambda f(x) + g(x) $의 정류점으로의 수렴을 보장한다.
• 수렴 모니터링과 PSNR 평가를 수행하면서 Prox-PnP-DRS, Prox-PnP-PGD, Prox-PnP-ADMM 변종을 사용하여 디블러링, 슈퍼레졸루션, 인painting에 대한 수치 실험을 수행한다.
• 이 방법은 https://github.com/samuro95/Prox-PnP에 구현되어 오픈소스화되어 재현 가능성과 향후 벤치마킹을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크 기반 디노이저가 기울기 단계로 훈련된 경우, 이를 비볼록 함수의 정확한 프록시털 연산자로 공식적으로 해석할 수 있는가?
• RQ2 PnP 알고리즘의 프록시털 연산자에 이러한 디노이저를 대체함으로써, 비볼록 설정에서 정류점으로의 수렴을 보장할 수 있는가?
• RQ3 기울기 디노이저가 프록시털 연산자와 등가일 경우, PnP-PGD와 PnP-ADMM의 수렴을 이론적으로 보장할 수 있는가?
• RQ4 제안된 Prox-PnP 프레임워크는 DPIR과 같은 기존 PnP 방법과 비교하여 수렴성과 이미지 품질 측면에서 어떻게 성능을 내는가?
• RQ5 Prox-PnP 프레임워크는 초기화 노이즈에 대해 강건하며, 인페인팅과 같은 비미분 가능한 데이터 일치 설정에서도 효과적인가?

주요 결과

• 기울기 디노이저 $ D_{\sigma} = \text{Id} - \nabla g_{\sigma} $는 비볼록이고 미분 가능한 함수 $ g $의 정확한 프록시털 연산자임을 증명하였으며, 이는 이론적 수렴 보장을 가능하게 한다.
• 이 디노이저를 사용한 PnP-PGD와 PnP-ADMM는 비볼록 설정에서도 명시적 기능 $ F_{\lambda,\sigma}(x) = \lambda f(x) + g(x) $의 정류점으로 수렴한다.
• 디블러링에서 Prox-PnP-DRS는 "butterfly" 이미지에서 PSNR 29.41 dB를 기록하여 GSPnP-HQS(29.58 dB)를 능가하고 DPIR(29.48 dB)와 유사한 성능를 보이며 안정적인 수렴을 보였다.
• 슈퍼레졸루션에서 Prox-PnP-DRS는 "leaves" 이미지에서 24.36 dB를 기록하여 pGSPnP-PGD(23.96 dB)와 pGSPnP-DRSdiff(23.96 dB)를 능가했으며, 일관된 수렴을 보였다.
• 인페인팅에서 Prox-PnP-DRS는 두 테스트 이미지에서 각각 31.14 dB와 33.18 dB의 PSNR를 기록하였으며 잔차 노름이 $ \mathcal{O}(1/k) $ 속도로 감소함으로써 경험적 수렴을 확인하였다.
• 이 방법은 초기화 노이즈에 대해 강건하다: $ \sigma_{\text{init}} = 60/255 $일지라도 Prox-PnP-DRS는 높은 PSNR(18.65 dB)를 유지하는 반면, 다른 방법들은 상당히 성능이 저하되었다.