[論文レビュー] Computational Complexity versus Statistical Performance on Sparse Recovery Problems

Vincent Roulet, Nicolas Boumal+1 more|arXiv (Cornell University)|Jun 10, 2015

Sparse and Compressive Sensing Techniques参考文献 64被引用数 48

ひとこと要約

本稿では、信号のスパarsityと回復可能な最大信号サイズの比として定義される1つの条件数が、勾配法の線形収束速度とロバスト回復閾値の両方を制御することを示すことにより、スパース回復問題における計算複雑性と統計的回復性能の直接的な対応関係を確立している。著者らは、凸計画問題のRenegarの条件数が、測定行列の制限特異値に一致することを示し、圧縮センシングにおけるアルゴリズム的複雑性と統計的性能を統一した。

ABSTRACT

We show that several classical quantities controlling compressed sensing performance directly match classical parameters controlling algorithmic complexity. We first describe linearly convergent restart schemes on first-order methods solving a broad range of compressed sensing problems, where sharpness at the optimum controls convergence speed. We show that for sparse recovery problems, this sharpness can be written as a condition number, given by the ratio between true signal sparsity and the largest signal size that can be recovered by the observation matrix. In a similar vein, Renegar's condition number is a data-driven complexity measure for convex programs, generalizing classical condition numbers for linear systems. We show that for a broad class of compressed sensing problems, the worst case value of this algorithmic complexity measure taken over all signals matches the restricted singular value of the observation matrix which controls robust recovery performance. Overall, this means in both cases that, in compressed sensing problems, a single parameter directly controls both computational complexity and recovery performance. Numerical experiments illustrate these points using several classical algorithms.

研究の動機と目的

• スパース回復問題における計算複雑性と統計的性能の関係を調査すること。
• 勾配法の収束速度と圧縮センシングにおける回復閾値の両方を支配する1つのパラメータを同定すること。
• Renegarの条件数と測定行列の制限特異値の間の関係を形式化すること。
• 最適解における鋭さ（sharpness）が、条件数を用いて定量化され、勾配法における線形収束を決定することを示すこと。
• L1正則化回復問題における数値実験を通じて理論的考察を検証すること。

提案手法

• スパース回復問題に適用された勾配法の線形収束性を示すリスタートスキームを分析する。
• 信号のスパarsityと最大回復可能信号サイズの比から導かれる条件数を用いて、最適解における鋭さを定義する。
• Renegarの条件数を凸計画問題のデータ駆動型複雑性測度として適用し、古典的条件数の一般化を行う。
• すべての信号におけるRenegarの条件数の最悪値が、測定行列の制限特異値に等しいことを示す。
• L1-Homotopy、TFOCS、LARSを用いた数値実験を通じて、計算時間、回復誤差、条件数推定値を評価する。
• 実際の条件数の下界としてのコーン制限条件数を計算し、フェーズ遷移行動におけるその役割を検証する。

実験結果

リサーチクエスチョン

• RQ1 1つの条件数が、スパース回復における計算複雑性と統計的回復性能の両方の解析を統一できるか？
• RQ2 条件数で測定される最適解の鋭さは、勾長法の収束速度にどのように影響するか？
• RQ3 凸計画問題におけるRenegarの条件数が、測定行列の制限特異値とどの程度一致するか？
• RQ4 数値実験は、フェーズ遷移付近における計算複雑性と回復閾値の理論的関連性をどの程度反映しているか？
• RQ5 なぜ一部のソルバー（例：IPMs、L1-Homotopy）は理論的期待とは異なり、データに依存しないか、ほぼ一定の複雑性を示すのか？

主な発見

• 信号のスパarsityと最大回復可能信号サイズの比として定義される条件数が、勾長法の線形収束速度とロバスト回復閾値の両方を支配する。
• 凸計画問題におけるRenegarの条件数が、測定行列の制限特異値に一致し、アルゴリズム的複雑性と統計的性能の直接的なリンクを確立する。
• 数値実験では、L1-Homotopyにおける高い計算時間が、回復に失敗するフェーズ遷移付近のインスタンスと一致しており、コーン制限条件数と整合していることが示された。
• コーン制限条件数は実際の条件数の下界として機能し、スパース回復における計算的・統計的複雑性の両方を説明する。
• フェーズ遷移付近（p=300、s=15のときn≈70付近）では、条件数が急激に増加し、劣悪な回復性能と高い計算コストと相関している。
• 内点法（IPMs）とL1-Homotopyは、主に一定の反復回数と計算時間を示しており、実装上では一部の状況で実際のデータ駆動型条件数から複雑性が分離されている可能性を示唆している。