[論文レビュー] A Fast Stochastic Plug-and-Play ADMM for Imaging Inverse Problems

Junqi Tang, Mike E. Davies|arXiv (Cornell University)|Jun 20, 2020

Sparse and Compressive Sensing Techniques参考文献 38被引用数 4

ひとこと要約

本稿では、画像の逆問題における高価なノイズ除去器の呼び出し回数を削減するために、不正確なADMMフレームワーク内に確率的勾配降下法を統合することで、高速な確率的プラグアンドプレイADMMアルゴリズムを提案する。この手法は、先行する確率的PnPアプローチと比較して、収束が速く、実行時間が短い。理論的固定点収束保証と、低線量およびスパarsely観測CT再構成において優れた性能を示す。

ABSTRACT

In this work we propose an efficient stochastic plug-and-play (PnP) algorithm for imaging inverse problems. The PnP stochastic gradient descent methods have been recently proposed and shown improved performance in some imaging applications over standard deterministic PnP methods. However, current stochastic PnP methods need to frequently compute the image denoisers which can be computationally expensive. To overcome this limitation, we propose a new stochastic PnP-ADMM method which is based on introducing stochastic gradient descent inner-loops within an inexact ADMM framework. We provide the theoretical guarantee on the fixed-point convergence for our algorithm under standard assumptions. Our numerical results demonstrate the effectiveness of our approach compared with state-of-the-art PnP methods.

研究の動機と目的

• 既存の確率的プラグアンドプレイ（PnP）手法における、繰り返しのノイズ除去器呼び出しに伴う高い計算コストを解消すること。
• 収束性能を損なわせることなく、ノイズ除去器の評価回数を削減することで、確率的PnPアルゴリズムの実用性を向上させること。
• 不正確なADMMと内側の反復における確率的勾配降下法を組み合わせた、効率的な最適化を実現する確率的PnP-ADMMフレームワークを開発すること。
• 標準的な仮定の下で、固定点収束解析を提供し、アルゴリズムの信頼性を裏付けること。
• 特に低線量およびスパarsely観測CT再構成において、実世界の画像処理問題における本手法の有効性を示すこと。

提案手法

• 不正確なADMMフレームワークの内側ループに確率的勾配降下法（SGD）を統合し、繰り返しのノイズ除去器呼び出しに依存するのを減らす。
• ランダムに部分抽出されたデータインデックス上で計算されるミニバッチ勾配を利用して、フル勾配を効率的に推定する。
• 収束を加速するために、FISTAにインspiredしたモーメンタム更新をz変数の更新ステップに適用する。
• 外側のADMMイテレーションごとにノイズ除去器（例：スケーリング付きBM3D）を一度だけ適用することで、計算オーバーヘッドを顕著に削減する。
• 固定ステップサイズ戦略を採用し、$ au = 1$ および $ heta_j = rac{j-1}{j+3}$ を用いてモーメンタムを制御し、安定的かつ適応的な更新を実現する。
• アルゴリズムを固定点反復として定式化し、連続する反復間の差の誤差バウンドを用いて収束性を解析する。

実験結果

リサーチクエスチョン

• RQ1 確率的勾配技術をPnPフレームワーク内のADMMと効果的に組み合わせることで、ノイズ除去器の呼び出し回数を削減できるか？
• RQ2 提案された確率的PnP-ADMMは、既存のPnP-SGDおよびPnP-FISTA手法と比較して、より速い収束と短い実行時間を達成できるか？
• RQ3 特に部分問題の解が不正確な状況下でも、標準的な仮定の下で本手法は理論的に収束するか？
• RQ4 低線量およびスパarsely観測CT再構成といった実用的画像処理タスクにおいて、アルゴリズムはどのように性能を発揮するか？
• RQ5 高価なノイズ除去器による計算コストを顕著に削減しながら、高い再構成品質を維持できるか？

主な発見

• 提案手法の確率的PnP-ADMMは、PnP-SGDと比較してわずかに多くのデータパスを経るものの、ノイズ除去器の呼び出し回数が少ないため、実行時間が短い。
• 低線量CT再構成において、推定誤差の観点から、PnP-SGDおよびPnP-FISTAを上回る性能を示し、より低い誤差レベルへの収束が速い。
• スパarsely観測CTでは、再構成品質と速度の両面で優れた性能を示し、特にノイズ除去器の計算がボトルネックとなる状況で顕著である。
• 理論的解析により、標準的な仮定の下で固定点収束が保証され、$k \to \infty$ のとき誤差項が減少することが確認された。
• 実験的結果から、強い凸性がなくても収束が達成されることを示し、非強い凸設定下でも頑健であることが示された。
• ノイズ除去器スケーリングパラメータ（$ \gamma$）のグリッドサーチにより性能が最大化され、フレームワーク内での適切なノイズ除去器キャリブレーションの重要性が確認された。