[論文レビュー] Practical Operator Sketching Framework for Accelerating Iterative Data-Driven Solutions in Inverse Problems

Junqi Tang, Xu, Guixian+2 more|arXiv (Cornell University)|Aug 31, 2022

Sparse and Compressive Sensing Techniques被引用数 5

ひとこと要約

本稿では、確率的最適化とオペレータースケッチを用いて、画像の逆問題におけるディープアンロールネットワークの高速化を実現する実用的なフレームワークを提案する。ミニバッチ勾配近似とスケッチによる次元削減を組み合わせることで、特に高次元のX線CTおよびMRIタスクにおいて、計算量とメモリ使用量を著しく削減しつつ、競争力ある再構成精度を達成する。

ABSTRACT

We propose a new operator-sketching paradigm for designing efficient iterative data-driven reconstruction (IDR) schemes, e.g. Plug-and-Play algorithms and deep unrolling networks. These IDR schemes are currently the state-of-the-art solutions for imaging inverse problems. However, for high-dimensional imaging tasks, especially X-ray CT and MRI imaging, these IDR schemes typically become inefficient both in terms of computation, due to the need of computing multiple times the high-dimensional forward and adjoint operators. In this work, we explore and propose a universal dimensionality reduction framework for accelerating IDR schemes in solving imaging inverse problems, based on leveraging the sketching techniques from stochastic optimization. Using this framework, we derive a number of accelerated IDR schemes, such as the plug-and-play multi-stage sketched gradient (PnP-MS2G) and sketching-based primal-dual (LSPD and Sk-LSPD) deep unrolling networks. Meanwhile, for fully accelerating PnP schemes when the denoisers are computationally expensive, we provide novel stochastic lazy denoising schemes (Lazy-PnP and Lazy-PnP-EQ), leveraging the ProxSkip scheme in optimization and equivariant image denoisers, which can massively accelerate the PnP algorithms with improved practicality. We provide theoretical analysis for recovery guarantees of instances of the proposed framework. Our numerical experiments on natural image processing and tomographic image reconstruction demonstrate the remarkable effectiveness of our sketched IDR schemes.

研究の動機と目的

• X線CTやMRIのような高次元の画像逆問題におけるディープアンロールネットワークの高い計算コストとメモリ使用量を低減すること。
• フルバッチのディープアンロールに対するスケーラブルで効率的な代替手法を、確率的1次最適化の原則を統合することで開発すること。
• スケッチ技術を用いて次元削減を実現し、高次元のオペレータ積を近似すること。
• 提案された確率的およびスケッチドアンロールフレームワークにおける収束性と推定誤差について理論的保証を提供すること。
• 効率的なインスタンス適応微調整フレームワークを用いて、分布外一般化を可能にすること。

提案手法

• 確率的勾配降下法を用いて、最先端の学習されたプライマルデュアル（LPD）フレームワークを拡張したミニバッチベースの学習された確率的プライマルデュアル（LSPD）ネットワークを提案する。
• 高次元の画像空間における積を近似するためにスケッチ技術を適用するスケッチドLSPD（SkLSPD）を導入する。
• スケッチ行列を用いて、大きなフォワードおよびアドジョイント演算子の作用を近似し、$ A^T S_i^T S_i A $ の効率的計算を可能にする。ここで $ S_i $ はスケッチ演算子である。
• スケッチと確率的アンロールを統合することで、ネットワークの加速と圧縮を同時に実現し、性能を維持する。
• 理論的分析は確率的非凸複合最適化に基づき、標準的な仮定の下で推定誤差の上限を導出する。
• 学習されたノイズ除去器と繰り返し更新を組み合わせたプライマルデュアルアンロール構造を採用し、確率的勾配推定とスケッチ近似を統合する。

実験結果

リサーチクエスチョン

• RQ1 ミニバッチ勾配を用いた確率的アンロールは、高次元画像タスクにおいてフルバッチのディープアンロールと同等の再構成精度を達成できるか？
• RQ2 スケッチ技術は、性能を劣化させることなく、ディープアンロールネットワークの計算コストとメモリ使用量をどの程度低減できるか？
• RQ3 提案されたLSPDおよびSkLSPDネットワークは、低線量およびスパarselyビューX線CT再構成において、フルバッチLPDと比較してどのように性能を発揮するか？
• RQ4 提案されたフレームワークは分布外データに一般化可能であり、新しい測定条件に対してどの程度効率的に微調整できるか？
• RQ5 確率的およびスケッチドアンロールスキームの収束性と推定誤差について、どのような理論的保証を確立できるか？

主な発見

• LSPDおよびSkLSPDネットワークは、フルバッチLPDネットワークと同等の再構成精度を達成しながら、計算量の僅か一部で実現可能である。
• 低線量およびスパースビューX線CTタスクにおいて、提案手法は顕著に低いメモリ使用量と計算負荷で高い画像品質を維持する。
• 理論的分析により、標準的な仮定の下でLSPDおよびSkLSPDの推定誤差が有界であり、フルバッチの対応物と同等であることが示された。
• SkLSPDバージョンは、スケッチを用いて高次元オペレータ積を近似することで、さらに高速化を達成し、性能低下を最小限に抑えた。
• インスタンス適応フレームワークにより、分布外データに対するネットワークの効率的微調整が可能であり、ノイズやモalityの分布シフトに対しても強靭性を示した。
• 実験的結果により、確率的アンロールとスケッチの組み合わせが、精度を損なわずに計算効率の「無料の利点（free-lunch）」をもたらすことが確認された。