[論文レビュー] A performance analysis framework for SOCP algorithms in noisy compressed sensing

Mihailo Stojnic|arXiv (Cornell University)|Mar 29, 2013

Sparse and Compressive Sensing Techniques参考文献 58被引用数 7

ひとこと要約

本稿は、ノイズあり圧縮センシングにおける2次錐計画法（SOCP）アルゴリズムの統計的性能分析フレームワークを導入する。このフレームワークにより、$β$-スパース復元閾値と解の$×2$-ノルム誤差を精確に特徴づけることが可能となり、制限等長性性質（RIP）のもとで誤差がノイズレベルに比例する定数倍で有界であることが示された。

ABSTRACT

Solving under-determined systems of linear equations with sparse solutions attracted enormous amount of attention in recent years, above all, due to work of \cite{CRT,CanRomTao06,DonohoPol}. In \cite{CRT,CanRomTao06,DonohoPol} it was rigorously shown for the first time that in a statistical and large dimensional context a linear sparsity can be recovered from an under-determined system via a simple polynomial $\ell_1$-optimization algorithm. \cite{CanRomTao06} went even further and established that in \emph{noisy} systems for any linear level of under-determinedness there is again a linear sparsity that can be \emph{approximately} recovered through an SOCP (second order cone programming) noisy equivalent to $\ell_1$. Moreover, the approximate solution is (in an $\ell_2$-norm sense) guaranteed to be no further from the sparse unknown vector than a constant times the noise. In this paper we will also consider solving \emph{noisy} linear systems and present an alternative statistical framework that can be used for their analysis. To demonstrate how the framework works we will show how one can use it to precisely characterize the approximation error of a wide class of SOCP algorithms. We will also show that our theoretical predictions are in a solid agrement with the results one can get through numerical simulations.

研究の動機と目的

• ノイズあり圧縮センシングにおけるSOCPアルゴリズムの性能を分析する統計的フレームワークの構築を目的とする。
• SOCPアルゴリズムの近似誤差を誤差ベクトルの$×2$-ノルムの観点から精確に特徴づけること。
• ノイズありシステムにおける$k$-スパースベクトルのSOCPによる復元性能に対する理論的境界を確立すること。
• 数値シミュレーションを通じて理論的予測の妥当性を検証し、理論的予測と実験的結果の強い一致を示すこと。
• 適切なパrameter選択のもとで、SOCPの性能とLASSO型アルゴリズムとの間の誤差集中行動の類似性を特定すること。

提案手法

• フレームワークは、i.i.d. 標準正規行列$A$を仮定し、SOCP問題 $\min \|\mathbf{x}\|_1 \text{ subject to } \|A\mathbf{x} - \mathbf{y}\|_2 \leq r_{\text{socp}}$ を分析する。
• 誤差ベクトル$\mathbf{w}_{\text{socp}} = \mathbf{x} - \hat{\mathbf{x}}$ の最悪ケース$\ell_2$-ノルムを考慮することで、一般的な性能分析を導入する。
• 制限等長性性質（RIP）のもとで、$\beta < \beta_{\text{w}}^+$ のとき、誤差$\|\mathbf{w}_{\text{socp}}\|_2$ がノイズレベル$\sigma$ の定数倍で有界であることを示す臨界閾値$\beta_{\text{w}}^+$ を導出する。
• ノイズ耐性を$r_{\text{socp}} = \sigma \sqrt{\alpha n}$ としてモデル化し、$(\alpha, \beta)$-平面上での性能曲線を導出する。
• 適切なパrameter選択のもとで、誤差集中点の同等性を用いてSOCP性能とLASSOを関連付ける。
• 理論的予測と数値シミュレーションの比較を通じてフレームワークの妥当性を検証し、さまざまなノイズレベルとシステム次元において強い一致を示した。

実験結果

リサーチクエスチョン

• RQ1 ノイズあり圧縮センシングにおけるSOCPアルゴリズムの$\ell_2$-ノルム誤差ベクトルに対する正確な理論的境界は何か？
• RQ2 SOCP定式化のもとで、システムの不定比$\alpha = m/n$ に対して、復元閾値$\beta$（スパースレベル）はどのように依存するか？
• RQ3 SOCPの性能は、ノイズレベル$\sigma$ に比例する線形スケーリングを持つ最悪ケース誤差として特徴づけられるか？
• RQ4 残差許容誤差$r_{\text{socp}}$ の選択が、誤差性能と復元閾値にどのように影響するか？
• RQ5 SOCP誤差行動の理論的予測は、数値シミュレーションとどの程度一致するか？

主な発見

• 制限等長性性質（RIP）のもとで、SOCPアルゴリズムは$\|\mathbf{w}_{\text{socp}}\|_2 \leq C\sigma$ という有界な$\ell_2$-誤差を達成する。ここで定数$C$は$n$に依存しない。
• フレームワークは、$\beta < \beta_{\text{w}}^+$ のとき、最悪ケース$\ell_2$-誤差が$\sigma$ の定数倍で有界であることを保証する臨界スパース閾値$\beta_{\text{w}}^+$ を正確に特定する。
• 理論的予測された$(\alpha, \beta_{\text{w}}^+)$-曲線は、数値シミュレーションと非常に良く一致しており、特に$\alpha$が大きい領域で顕著である。
• $r_{\text{socp}} = \sigma \sqrt{\alpha n}$ の選択は、$r_{\text{socp}} = \sigma \sqrt{\frac{\alpha}{1+\rho^2}n}$ よりも優れた誤差性能を示し、$\alpha$ が大きいほどその差が顕著になる。
• 適切なパrameterチューニングのもとで、SOCPアルゴリズムの誤差集中点はLASSOアルゴリズムと一致し、両者の間の理論的関連性を確立した。
• フレームワークは、一般（最悪ケース）シナリオだけでなく、ブロックスパースや部分的に既知の解といった問題依存ケースに対しても、高い精度で性能分析を可能にする。