[論文レビュー] Scalable Plug-and-Play ADMM with Convergence Guarantees

Yu Sun, Zihui Wu+3 more|arXiv (Cornell University)|Jun 5, 2020

Sparse and Compressive Sensing Techniques参考文献 72被引用数 4

ひとこと要約

本稿では、データを小さなバッチで処理することで、大規模な逆問題をスケーラブルかつ収束保証付きに解くことのできる、インクリメンタルでプラグアンドプレイなADMM（IPA）アルゴリズムを提案する。従来のPnP手法とは異なり、IPAはデータセットサイズに依存しない低メモリかつ低反復コストを維持し、滑らかでないデータ適合項もサポートし、PnP-SGDよりも速い収束を達成しながら、明示的な仮定の下で理論的収束を保証する。

ABSTRACT

Plug-and-play priors (PnP) is a broadly applicable methodology for solving inverse problems by exploiting statistical priors specified as denoisers. Recent work has reported the state-of-the-art performance of PnP algorithms using pre-trained deep neural nets as denoisers in a number of imaging applications. However, current PnP algorithms are impractical in large-scale settings due to their heavy computational and memory requirements. This work addresses this issue by proposing an incremental variant of the widely used PnP-ADMM algorithm, making it scalable to large-scale datasets. We theoretically analyze the convergence of the algorithm under a set of explicit assumptions, extending recent theoretical results in the area. Additionally, we show the effectiveness of our algorithm with nonsmooth data-fidelity terms and deep neural net priors, its fast convergence compared to existing PnP algorithms, and its scalability in terms of speed and memory.

研究の動機と目的

• 大規模な設定において、既存のプラグアンドプレイPnPアルゴリズムの現実的でない計算およびメモリ要件を解消すること。
• データを段階的に処理することで、データセットサイズに依存しない低メモリかつ低反復複雑性を実現するPnP-ADMMのスケーラブルな変種を開発すること。
• データのインクリメンタル処理に対する理論的収束保証を拡張し、滑らかでないデータ適合項を含む場合にも適用可能にすること。
• PnP-SGDのような既存の確率的代替手法よりも速い収束を達成しながら、大規模問題において深層ニューラルネットワークの事前知識を活用できること。
• 大規模な画像再構成および逆問題に対して、理論的裏付けがあり、柔軟かつ実用的なフレームワークを提供すること。

提案手法

• 全データセットをバッチモードで処理する代わりに、1つまたは少数のデータ要素を一度に処理するインクリメンタルPnP-ADMM（IPA）アルゴリズムを提案する。
• データ適合項をデータサブセット上で巡回的または確率的な方法で処理するランダム化されたインクリメンタル更新スキームを用いる。
• プライマル変数および双対変数の交互最小化を維持するADMM構造を採用するが、データ適合項のプロキシマル作用素は各ステップで測定値のサブセットに対してのみ適用する。
• （例：事前学習済みの深層ニューラルネット）を事前知識として用い、標準的なPnP-ADMMと同様の方法で適用するが、インクリメンタル更新に適応させたものである。
• 理論的分析は、元の作用素の強非拡張性と固定点収束に依拠し、従来のバッチ処理からインクリメンタル処理への結果の拡張を図る。
• 明示的な仮定の下で収束を確立する：データ適合項の勾配のリプシッツ連続性、反復の有界性、およびノイズ除去器とプロキシマル作用素の強非拡張性。

実験結果

リサーチクエスチョン

• RQ1 PnP-ADMMは、収束保証を失わずに大規模データセットにスケーラブルに拡張可能か？
• RQ2 PnP-ADMMにおけるデータのインクリメンタル処理は、滑らかでないデータ適合項と学習済みノイズ除去器を用いても収束を保つのか？
• RQ3 インクリメンタルPnP-ADMMの収束速度とメモリ使用量は、バッチPnP-ADMMおよびPnP-SGDと比べてどの程度か？
• RQ4 バッチPnP-ADMMの理論的収束枠組みを、部分的かつ確率的なデータ処理に拡張可能か？
• RQ5 大規模な画像処理問題における実験的性能として、速度、メモリ効率、再構成品質の観点から、インクリメンタルアルゴリズムの性能はいかがなものか？

主な発見

• 提案されたIPAアルゴリズムは、明示的な仮定の下で固定点に収束することを示し、バッチPnP-ADMMの理論的保証をインクリメンタル処理に拡張した。
• IPAは、滑らかでないデータ適合項（例：ℓ₁-ノルム）に対しても収束を維持でき、PnP-SGDが同様の理論枠組みで対応できない。
• 数値実験では、ADMMの交互方向構造を活かしたため、PnP-SGDよりも収束が速く、特に初期反復で顕著な優位性を示した。
• IPAのメモリ使用量および1反復あたりの計算コストは、測定値総数に依存せず、非常に大規模なデータセットへのスケーラビリティを実現した。
• 数値的妥当性の検証により、IPAは深層ニューラルネットワークの事前知識と滑らかでないデータ適合項を効果的に統合でき、大規模な画像再構成タスクで最先端の性能を達成した。
• 理論的分析により、バッチPnP-ADMMと同様の仮定のもとで、インクリメンタル作用素も依然として強非拡張的であることが示され、Krasnosel’skii-Mann定理により収束が保証された。