[論文レビュー] Tradeoffs between Convergence Speed and Reconstruction Accuracy in Inverse Problems

Raja Giryes, Yonina C. Eldar+2 more|arXiv (Cornell University)|May 30, 2016

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

本稿は、反復的逆問題ソルバーにおける収束速度と再構成精度の間の理論的トレードオフを確立し、低次元信号集合の粗い近似を用いることで収束を加速できるが、その代わりに有界な誤差が生じることを示している。主な貢献は、このトレードオフを圧縮センシング、スパース回復、深層学習と結びつけるフレームワークを提供することであり、LISTA のような学習された反復アルゴリズムへの影響を含む。

ABSTRACT

Solving inverse problems with iterative algorithms is popular, especially for large data. Due to time constraints, the number of possible iterations is usually limited, potentially affecting the achievable accuracy. Given an error one is willing to tolerate, an important question is whether it is possible to modify the original iterations to obtain faster convergence to a minimizer achieving the allowed error without increasing the computational cost of each iteration considerably. Relying on recent recovery techniques developed for settings in which the desired signal belongs to some low-dimensional set, we show that using a coarse estimate of this set may lead to faster convergence at the cost of an additional reconstruction error related to the accuracy of the set approximation. Our theory ties to recent advances in sparse recovery, compressed sensing, and deep learning. Particularly, it may provide a possible explanation to the successful approximation of the l1-minimization solution by neural networks with layers representing iterations, as practiced in the learned iterative shrinkage-thresholding algorithm (LISTA).

研究の動機と目的

• 時間制約のため反復ソルバーが早期に打ち切られる場合の収束速度と再構成精度のトレードオフを理解すること。
• 低次元信号集合の粗い近似を用いて反復アルゴリズムを変更することで、1反復あたりのコストを増加させずに収束を加速できるかどうかを調査すること。
• LISTA などの学習された反復手法の成功を理論的に裏付ける基盤を提供すること。LISTA は学習された層を用いて ℓ1-最小化を近似する。
• 信号モデルにおける近似誤差が反復最適化における収束速度と最終的な再構成精度にどのように影響するかを形式化すること。

提案手法

• 信号が低次元集合 𝒦 に属すると仮定する反復アルゴリズムの枠組みを提案し、𝒦 の粗い近似の下での収束を分析する。
• 真の集合 𝒦 が粗い集合 𝒟 で近似される摂動モデルを導入し、それによる反復における誤差の上限を導出する。
• 射影演算子と特異値ノルムを用いて、反復的シェイピング・スレッショルド法（ISTA）および投影勾配法における誤差伝播を制限する。
• 測定行列の条件数と信号集合の近似品質に依存する理論的収束レートを導出する。
• 理論を学習された反復的シャープニング・スレッショルド法（LISTA）に適用し、学習されたパラメータが ℓ1-ボールの粗い近似を実装していることを示す。
• 凸解析、圧縮センシング、作用素論の道具を用いて、近似誤差 ϵ と信号集合の幾何構造に依存する誤差の上限を導出する。

実験結果

リサーチクエスチョン

• RQ1 真の信号集合の粗い近似を用いることで、有界な再構成誤差を許容しても、反復的逆問題ソルバーの収束を加速できるか？
• RQ2 信号集合の近似精度と反復アルゴリズムの収束速度との間の理論的関係は何か？
• RQ3 反復が早期に打ち切られた場合、信号モデルにおける近似誤差は最終的な再構成精度にどのように影響するか？
• RQ4 LISTA などの学習された反復アルゴリズムの成功は、収束速度と近似誤差のこのトレードオフによって説明できるか？
• RQ5 どの条件下で、粗い集合近似が1反復あたりの計算コストを増加させずに収束を高速化するのか？

主な発見

• 本稿は、低次元信号集合の粗い近似を用いることで、近似誤差 ϵ と集合の幾何構造に依存する要因によって収束が加速されることを確立している。
• 反復における誤差が近似誤差 ϵ と真の信号のノルムに線形に増大することを示す理論的上限が導出された。
• 反復手法の収束速度が測定行列のスペクトル的性質と集合の近似品質に依存しており、集合がよく近似されている場合にはより速い収束が達成可能であることが示された。
• 本分析により、LISTA の成功が理論的に説明され、学習されたパラメータが ℓ1-ボールの粗い近似を実装することで、標準的な ISTA よりも高速な収束が達成されることを示した。
• 導出された誤差上限はタイトであり、測定行列の条件数と信号集合の曲率に依存しており、速度と精度のトレードオフを裏付けるものである。