[論文レビュー] Plug-and-Play Methods for Integrating Physical and Learned Models in Computational Imaging

Ulugbek S. Kamilov, Charles A. Bouman+2 more|arXiv (Cornell University)|Mar 31, 2022

Mathematical Biology Tumor Growth被引用数 24

ひとこと要約

PnP 方法は、近接ステップをデノイザーに置き換えることで物理測定モデルと学習された事前知識を統合し、撮像モダリティ全体で柔軟でモジュール化された再構成を可能にします。 本論文は基礎、派生、収束、応用をレビューし、平衡形式およびオンライン/DU/DEQ拡張を論じます。

ABSTRACT

Plug-and-Play Priors (PnP) is one of the most widely-used frameworks for solving computational imaging problems through the integration of physical models and learned models. PnP leverages high-fidelity physical sensor models and powerful machine learning methods for prior modeling of data to provide state-of-the-art reconstruction algorithms. PnP algorithms alternate between minimizing a data-fidelity term to promote data consistency and imposing a learned regularizer in the form of an image denoiser. Recent highly-successful applications of PnP algorithms include bio-microscopy, computerized tomography, magnetic resonance imaging, and joint ptycho-tomography. This article presents a unified and principled review of PnP by tracing its roots, describing its major variations, summarizing main results, and discussing applications in computational imaging. We also point the way towards further developments by discussing recent results on equilibrium equations that formulate the problem associated with PnP algorithms.

研究の動機と目的

• データ適合性と学習された事前知識を組み合わせるためのモジュラーなアプローチとして、逆問題におけるPlug-and-Play (PnP) フレームワークを動機づけ、形式化する。
• 歴史的発展、コアアルゴリズム（PnP-ADMM、PnP-FISTA）、拡張（オンラインPnP、RED）と理論的収束洞察を要約する。
• デノイザーを超解像器へ転用する実践的実装と、測定演算子間で priors を適応させる方法を強調する。
• 平衡形式と深層展開（DU）および深層平衡（DEQ）モデルとの関連を議論する。
• PnP 法の制約、トレードオフ、今後の研究方向を特定する。

提案手法

• 複合目的関数 f(x)=g(x)+h(x) と近接アルゴリズム（ADMM、FISTA）をPnP派生の基礎として説明する。
• 近接演算子 prox_{γh} をブラックボックスデノイザー D に置換して、PnP-ADMM および PnP-FISTA を作成する。
• 事前学習済みデノイザーが画像 priors として機能し、データ適合更新と学習済み priors をモジュール性のために分離する方法を説明する。
• 収束をコンセンサス平衡と、PnP/RED 派生での契約性演算子、リプシッツ連続デノイザーなどの条件で議論する。
• 大規模データに対応するオンライン/ミニバッチ派生（Online PnP、SIMBA）を紹介し、各反復のコストを削減する。
• 特定の測定モデル向けに訓練された幹部（AR）演算子を用いて、DU/DEQ フレームワークと連携させ、PnP 反復を展開または暗黙微分することで、デノイザーを学習 priors に結びつける。

実験結果

リサーチクエスチョン

• RQ1 物理的なフォワードモデルと学習されたデノイザーを、モジュラーでプラグアンドプレイな方法で統合して、逆画像再構成問題を解くにはどうすればよいか。
• RQ2 さまざまなデノイザーとデータ忠実性の仮定の下で、PnP 法の収束特性と理論保証はどうなるか。
• RQ3 priors を再訓練せずに、オンライン/大規模設定や異なる測定演算子にPnPを適用するにはどうすればよいか。
• RQ4 理解と改善のための平衡および DU/DEQ の解釈はPnP再構成にどのような役割を果たすか。
• RQ5 問題固有のアーティファクト除去 priors を用いた場合と汎用的な AWGN デノイザーを用いた場合の実用的な性能向上はどの程度か。

主な発見

• PnP は近接ステップをデノイザーに置換し、データ忠実性と学習 priors をモジュール的に統合する。
• PnP-ADMM と PnP-FISTA は前方モデルの更新とデノイシングを分離し、異なる測定演算子間で同じデノイザーを再利用できる。
• 平衡形式（コンセンサス平衡）は、ブラックボックスデノイザーを用いた収束を分析するための枠組みを提供する。
• オンラインPnP および SIMBA は、大規模問題の反復ごとのコストを、ミニバッチや測定のブロックを用いて低減し、確率勾配仮定の下での収束分析を提供する。
• DU/DEQ 拡張はフォワードモデルの文脈でデノイザーを訓練し、アーティファクト除去 priors あるいはエンドツーエンド訓練のいずれかを用い、一般性の低下という代償を伴いながら性能を向上させる。
• 経験的結果（例：図6）では、問題特有のアーティファクト除去 priors が、圧縮センシングや IDT トモグラフィーの特定シナリオで汎用的 AWGN デノイザーを上回る場合があり、図に相対 PSNR/SSIM が示されている。