[論文レビュー] Plug-and-Play Methods Provably Converge with Properly Trained Denoisers

Ernest K. Ryu, Jialin Liu+4 more|arXiv (Cornell University)|May 14, 2019

Sparse and Compressive Sensing Techniques被引用数 100

ひとこと要約

本論文は、denoiserのリプシッツ条件の下でPnP-FBSとPnP-ADMMの収束を証明し、この条件を満たすようdenoisersを訓練するための実スペクトル正規化（realSN）を導入し、理論を検証する実験を行う。

ABSTRACT

Plug-and-play (PnP) is a non-convex framework that integrates modern denoising priors, such as BM3D or deep learning-based denoisers, into ADMM or other proximal algorithms. An advantage of PnP is that one can use pre-trained denoisers when there is not sufficient data for end-to-end training. Although PnP has been recently studied extensively with great empirical success, theoretical analysis addressing even the most basic question of convergence has been insufficient. In this paper, we theoretically establish convergence of PnP-FBS and PnP-ADMM, without using diminishing stepsizes, under a certain Lipschitz condition on the denoisers. We then propose real spectral normalization, a technique for training deep learning-based denoisers to satisfy the proposed Lipschitz condition. Finally, we present experimental results validating the theory.

研究の動機と目的

• 画像復元のための近接最適化フレームワーク（PnP）内でdenoisersを用いる動機付け。
• denoiserのリプシッツ仮定の下で、減衰しないステップサイズでPnP-FBSとPnP-ADMMの収束を確立する。
• リプシッツ条件を満たすよう深層denoiserを訓練するための実スペクトル正規化（realSN）を導入。
• Poisson-denoising、単一光子イメージング、CS-MRIを対象とした理論結果と実験的検証を提示。

提案手法

• PnP-FBSとPnP-ADMMをdenoisersと近接演算子を介した固定点反復としてモデル化する。
• Assumption (A)を課す： (H_sigma - I) はリプシッツ定数 epsilon でリプシッツであり、縮約写像の証明を可能にする。
• PNP-FBSとPNP-DRSの縮約因子を導出し、ステップパラメータalphaの収束条件へ。
• 解析的取り扱いのため PNP-ADMMと PNP-DRS の同値性を示す。
• 実用的にリプシッツ仮定を満たすように denoisersを訓練するため、real spectral normalization (realSN)を導入。
• RealSNを用いたGaussian-denoising形式のdenoiser（DnCNNとSimpleCNN）を実装・評価し、BM3Dをベースラインとして評価。

実験結果

リサーチクエスチョン

• RQ1 denoisersが非拡張でも微分可能でない場合、PnP-FBSとPnP-ADMMはどの条件で収束するか。
• RQ2 denoisersへのリプシッツ型制約（Assumption A）は、縮約とした収束を保証し、減衰しないステップサイズでPnP反復を収束させるか。
• RQ3 実践的にリプシッツ条件を満たすようにdenoisersを訓練するには。
• RQ4 realSNで訓練されたdenoisersは、Poisson denoising、単一光子イメージング、CS-MRIにおいて収束と経験的 denoising 性能を改善するか。

主な発見

• PnP-FBSとPnP-DRSは Assumption (A)と f の強凸性の下で収縮的で、固定点へ幾何収束する。
• PnP-FBS の収束条件は alpha の beta-間隔を必要とし、epsilon < 2 mu /(L - mu) のときに存在。
• PnP-DRSとPnP-ADMM の収束は epsilon と mu を含む明示的な境界条件を持ち、ADMMの固定点結果では epsilon < 1 を含む。
• Real spectral normalization (realSN) は深層 denoisers のリプシッツ界を改善し、実務上 Assumption (A) をより現実的にする。
• Poisson denoising の実験は RealSN が収束挙動を改善し、ADMM では BM3D に対して競争力のある PSNR を達成; ADMM はいくつかのタスクで FBS より一般に上回る。
• RealSN 強化 denoisers は PnP フレームワークに組み込んだ CS-MRI と単一光子イメージングで再構成性能を向上させる。