[論文レビュー] Online Deep Equilibrium Learning for Regularization by Denoising

Jiaming Liu, Xiaojian Xu+3 more|arXiv (Cornell University)|May 25, 2022

Numerical methods in inverse problems被引用数 6

ひとこと要約

本稿では、画像の逆問題における深層均衡モデル（DEQ）の測定モデルに確率的近似を適用するメモリ効率の良いフレームワーク、Denoising を用いたオンライン深層均衡正則化（ODER）を提案する。測定値をバッチ処理ではなくオンラインで処理することにより、スパarsely なビューCT、MRI、強度回折トモグラフィーの応用において、計算量とメモリの複雑さを著しく削減しながら、バッチDEQと同等の再構成品質を達成する。

ABSTRACT

Plug-and-Play Priors (PnP) and Regularization by Denoising (RED) are widely-used frameworks for solving imaging inverse problems by computing fixed-points of operators combining physical measurement models and learned image priors. While traditional PnP/RED formulations have focused on priors specified using image denoisers, there is a growing interest in learning PnP/RED priors that are end-to-end optimal. The recent Deep Equilibrium Models (DEQ) framework has enabled memory-efficient end-to-end learning of PnP/RED priors by implicitly differentiating through the fixed-point equations without storing intermediate activation values. However, the dependence of the computational/memory complexity of the measurement models in PnP/RED on the total number of measurements leaves DEQ impractical for many imaging applications. We propose ODER as a new strategy for improving the efficiency of DEQ through stochastic approximations of the measurement models. We theoretically analyze ODER giving insights into its convergence and ability to approximate the traditional DEQ approach. Our numerical results suggest the potential improvements in training/testing complexity due to ODER on three distinct imaging applications.

研究の動機と目的

• 画像の逆問題における深層均衡モデル（DEQ）のバッチ処理に伴う高いメモリと計算コストを軽減すること。
• 各反復で全測定セットに依存することを減らしながら、DEQによる画像事前分布のエンドツーエンド学習を可能にすること。
• 収束性と性能を維持しながら、トレーニングおよび推論効率を向上させる、DEQの確率的でオンラインな変種を開発すること。
• 大規模な画像処理応用におけるPnP/REDフレームワークにおけるオンライン処理の実用的妥当性を示すこと。
• オンライン手法の収束性と近似品質をバッチDEQと比較して理論的分析すること。

提案手法

• ODERは、REDベースのDEQにおけるデータ整合性層に確率的近似を導入し、1反復あたり全セットではなく部分的な測定値のみを処理する。
• 固定点反復を用いて暗黙的ネットワーク方程式を解き、測定値のミニバッチを用いて勾配を計算する。
• 固定点方程式を通じた暗黙的微分を活用し、中間活性化を保存せずにエンドツーエンドバックプロパゲーションを可能にする。
• CNN事前分布を測定モデルと同時に学習させ、ノイズおよび確率的処理に起因するアーチファクトを除去する。
• Adam最適化を用い、学習率スケジューリングと重み減衰を適用し、アプリケーション（例：CT、MRI）に応じて調整する。
• 測定値を重複のないチャンクに分割し、各反復で各チャンクからランダムに部分集合を選択してデータ整合性更新を計算する。

実験結果

リサーチクエスチョン

• RQ1 DEQベースのPnP/REDフレームワークにおける測定値の確率的処理は、バッチ処理と同等の再構成品質を維持できるか？
• RQ2 オンライン処理は、画像再構成のための暗黙的ネットワークにおける固定点反復の収束性と安定性にどのように影響するか？
• RQ3 大規模な画像逆問題において、ODERはトレーニングおよび推論の複雑さをどの程度低減しつつ、性能を維持できるか？
• RQ4 同等の1反復あたりの計算予算下で、ODERは標準DEQおよびベースライン手法よりもSNRおよびSSIMの観点で優れているか？
• RQ5 測定部分集合のサイズとサンプリング戦略の選択が、ODERにおける最終的な再構成品質にどのように影響するか？

主な発見

• ODERは全バッチDEQと同等の再構成品質を達成し、スパarsely なビューCTにおいて、1反復あたり50ビューでRED（DEQ 180/180）と同等のSNRおよびSSIM性能を達成した。
• スパarsely なビューCTにおいて、1反復あたりの計算予算が同一の場合、ODERは50/180ビューのバッチDEQを約3 dBのSNR向上で上回った。
• 10％サンプリングの並列MRIにおいて、ODERはRED（Denoising）およびRED（Unfold）と比較して優れた視覚的再構成品質と低い誤差残差を達成した。
• 500測定値を用いた強度回折トモグラフィーにおいて、ODERはSNRおよびSSIMの両面で全バッチRED（DEQ）と同等の性能を示し、アーチファクト抑制が向上した。
• チャンク化され、ランダムに選択された測定部分集合の使用は、ODERにおける実験的再構成品質および安定性を向上させた。
• 理論的分析により、ODERがバッチDEQの固定点を近似する解に収束することが確認され、やや厳しい仮定のもとで収束保証が得られた。