[論文レビュー] Proximal Denoiser for Convergent Plug-and-Play Optimization with Nonconvex Regularization

Samuel Hurault, Arthur Leclaire+1 more|arXiv (Cornell University)|Jan 31, 2022

Photoacoustic and Ultrasonic Imaging被引用数 11

ひとこと要約

本稿では、非凸で滑らかな正則化関数の近位作用素として機能する深層ニューラルネットワークから導出された近位ノイズ除去器を提案し、非凸正則化を用いたプラグアンドプレイ（PnP）最適化における収束保証を可能にした。勾配ベースのノイズ除去器が近位作用素に対応することを示すことにより、著者らはPnP-PGDおよびPnP-ADMMが明示的な汎関数の停留点に収束することを確立した。実験では、最先端の性能を示すデブラー、スーパーレゾリューション、インpaintingの各タスクで検証された。

ABSTRACT

Plug-and-Play (PnP) methods solve ill-posed inverse problems through iterative proximal algorithms by replacing a proximal operator by a denoising operation. When applied with deep neural network denoisers, these methods have shown state-of-the-art visual performance for image restoration problems. However, their theoretical convergence analysis is still incomplete. Most of the existing convergence results consider nonexpansive denoisers, which is non-realistic, or limit their analysis to strongly convex data-fidelity terms in the inverse problem to solve. Recently, it was proposed to train the denoiser as a gradient descent step on a functional parameterized by a deep neural network. Using such a denoiser guarantees the convergence of the PnP version of the Half-Quadratic-Splitting (PnP-HQS) iterative algorithm. In this paper, we show that this gradient denoiser can actually correspond to the proximal operator of another scalar function. Given this new result, we exploit the convergence theory of proximal algorithms in the nonconvex setting to obtain convergence results for PnP-PGD (Proximal Gradient Descent) and PnP-ADMM (Alternating Direction Method of Multipliers). When built on top of a smooth gradient denoiser, we show that PnP-PGD and PnP-ADMM are convergent and target stationary points of an explicit functional. These convergence results are confirmed with numerical experiments on deblurring, super-resolution and inpainting.

研究の動機と目的

• 深層ニューラルネットワークによるノイズ除去器を用いたプラグアンドプレイ（PnP）手法における理論的収束保証の欠如に対処すること。
• ニューラルネットワークによって学習された勾配ステップ型ノイズ除去器が、非凸で滑らかな関数の正確な近位作用素として解釈可能であることを確立すること。
• PnP最適化における収束理論を凸設定から非凸設定へ拡張し、PnP-PGDおよびPnP-ADMMの厳密な解析を可能にすること。
• 深層ノイズ除去器を用いたPnP手法に理論的基盤を提供し、明示的な汎関数の停留点への収束を保証すること。
• 本稿で提案するフレームワークを、デブラー、スーパーレゾリューション、インpaintingといった画像修復タスクに適用し、収束性および性能の向上を実証的に検証すること。

提案手法

• ノイズ除去器は $ D_{\rho} = \text{Id} - \nabla g_{\sigma} $ として定義され、ここで $ g_{\sigma} $ はスカラー関数をパラメータ化する微分可能なニューラルネットワークである。
• 理論的分析により、この勾配ノイズ除去器が非凸で滑らかな関数 $ g $ の近位作用素と等価であることが証明され、MoreauおよびGribonvalによる近位作用素の特徴付けに関する結果を活用した。
• 等価性のおかげで、非凸設定においても近位アルゴリズムの収束理論をPnP-PGDおよびPnP-ADMMに適用可能となった。
• PnP-PGDおよびPnP-ADMMアルゴリズムは、近位ノイズ除去器を用いて再定式化され、汎関数 $ F_{\lambda,\sigma}(x) = \lambda f(x) + g(x) $ の停留点への収束が保証された。
• 収束モニタリングおよびPSNR評価を伴う、Prox-PnP-DRS、Prox-PnP-PGD、Prox-PnP-ADMMの変種を用いた、デブラー、スーパーレゾリューション、インpaintingにおける数値実験が実施された。
• 本手法は https://github.com/samuro95/Prox-PnP にて実装・公開されており、再現性およびさらなるベンチマークが可能となっている。

実験結果

リサーチクエスチョン

• RQ1 勾配ステップとして学習された深層ニューラルネットワークベースのノイズ除去器は、非凸関数の正確な近位作用素として形式的に解釈可能か？
• RQ2 PnPアルゴリズムにおける近位作用素をこのようなノイズ除去器に置き換えることで、非凸設定下でも停留点への収束が保証されるか？
• RQ3 勾配ノイズ除去器が近位作用素と等価である場合、PnP-PGDおよびPnP-ADMMの収束を理論的に保証できるか？
• RQ4 提案されたProx-PnPフレームワークは、DPIRのような既存のPnP手法と比較して、収束性および画像品質の点で優れているか？
• RQ5 Prox-PnPフレームワークは初期化ノイズに対して頑健であり、微分不能なデータ適合項を伴うインpaintingのような設定でも有効か？

主な発見

• 勾配ノイズ除去器 $ D_{\sigma} = \text{Id} - \nabla g_{\sigma} $ が非凸で滑らかな関数 $ g $ の正確な近位作用素であることが証明され、理論的収束保証が可能となった。
• このノイズ除去器を用いたPnP-PGDおよびPnP-ADMMは、非凸設定下でも明示的な汎関数 $ F_{\lambda,\sigma}(x) = \lambda f(x) + g(x) $ の停留点に収束することが確認された。
• デブラーでは、"butterfly"画像に対してProx-PnP-DRSが29.41 dBのPSNRを達成し、GSPnP-HQS（29.58 dB）を上回り、DPIR（29.48 dB）と同等の性能を示した。収束は安定的であった。
• スーパーレゾリューションでは、"leaves"画像に対してProx-PnP-DRSが24.36 dBのPSNRを達成し、pGSPnP-PGD（23.96 dB）およびpGSPnP-DRSdiff（23.96 dB）を上回った。収束は一貫していた。
• インpaintingでは、2つのテスト画像に対してProx-PnP-DRSが31.14 dBおよび33.18 dBのPSNRを達成し、残差ノルムが $ \mathcal{O}(1/k) $ の割合で減少した。これは経験的収束を確認するものであった。
• 本手法は初期化ノイズに対して頑健であった：$ \sigma_{\text{init}} = 60/255 $ でさえも、Prox-PnP-DRSは高いPSNR（18.65 dB）を維持したが、他の手法は著しく性能を低下させた。