[論文レビュー] Optimality of $\ell_2/\ell_1$-optimization block-length dependent thresholds

Mihailo Stojnic|arXiv (Cornell University)|Mar 29, 2013

Sparse and Compressive Sensing Techniques参考文献 12被引用数 3

ひとこと要約

本稿は、i.i.d. ガウス測定行列下での線形領域において、$β$-ブロックスパース信号復元の $Â𝔵_2/\u00c2ÂÂÂ_1$-最適化を用いた正確な弱閾値を確立し、先行研究[39]で導出された下界が、一致する上界を導出することでタイトであることを証明した。この結果により、ガウス測定行列下でのブロックスパース復元の性能が完全かつ最適に特徴付けられるようになった。

ABSTRACT

The recent work of \cite{CRT,DonohoPol} rigorously proved (in a large dimensional and statistical context) that if the number of equations (measurements in the compressed sensing terminology) in the system is proportional to the length of the unknown vector then there is a sparsity (number of non-zero elements of the unknown vector) also proportional to the length of the unknown vector such that $\ell_1$-optimization algorithm succeeds in solving the system. In more recent papers \cite{StojnicCSetamBlock09,StojnicICASSP09block,StojnicJSTSP09} we considered under-determined systems with the so-called extbf{block}-sparse solutions. In a large dimensional and statistical context in \cite{StojnicCSetamBlock09} we determined lower bounds on the values of allowable sparsity for any given number (proportional to the length of the unknown vector) of equations such that an $\ell_2/\ell_1$-optimization algorithm succeeds in solving the system. These lower bounds happened to be in a solid numerical agreement with what one can observe through numerical experiments. Here we derive the corresponding upper bounds. Moreover, the upper bounds that we obtain in this paper match the lower bounds from \cite{StojnicCSetamBlock09} and ultimately make them optimal.

研究の動機と目的

• これまでに得られた下界と、$ÂÂÂÂ_2/\u00c2ÂÂÂ_1$-最適化によるブロックスパース復元の真の性能限界との間のギャップを埋めること。
• 文献[39]で得られた下界と一致する上界を導出し、弱閾値の最適性を確立すること。
• i.i.d. ガウス測定行列下での線形領域において、$ÂÂÂÂ_2/\u00c2ÂÂÂ_1$-最適化の成功確率を完全に理論的に特徴付けること。
• 文献[39]の下界フレームワークを新規の上界フレームワークと統合し、正確な閾値特徴付けを達成すること。

提案手法

• 高次元幾何学と測度集中の理論的枠組みに基づく新規な理論的枠組みを用いて、$ÂÂÂÂ_2/\u00c2ÂÂÂ_1$-最適化の弱閾値に対する上界を導出する。
• 大次元極限における確率的解析と漸近的解析を組み合わせ、成功復元と失敗復元の境界を特徴付ける。
• 文献[39]の下界フレームワークを用い、新たな不等式と近似を導入することで、一致する上界を導出する。
• 逆不完全ガンマ関数およびカイ二乗尾確率の近似を用いて、高次元におけるブロックノルムの挙動をモデル化する。
• ブロックサイズ $d$、スパarsityレベル $β_w$、測定比 $α$ を含む固定点方程式を含む、弱閾値を定義する方程式系(50)および(51)を導出する。
• 上界と下界が一致することを示すことにより、境界のタイトさを検証し、閾値の最適性を示す。

実験結果

リサーチクエスチョン

• RQ1 i.i.d. ガウス測定行列下で、$k$-ブロックスパース信号を復元する $ÂÂÂÂ_2/\u00c2ÂÂÂ_1$-最適化における正確な弱閾値は何か？
• RQ2 事前に得られた弱閾値の下界が、一致する上界を確立することでタイトであることを証明できるか？
• RQ3 ブロックサイズ $d$ は、線形領域における最適復元閾値にどのように影響を与えるか？
• RQ4 ブロックスパース構造は、標準的な $ÂÂÂÂ_1$-最適化と比較して、復元性能をどの程度向上させるか？

主な発見

• 本稿で導出された上界は、文献[39]の下界と正確に一致しており、$ÂÂÂÂ_2/\u00c2ÂÂÂ_1$-最適化の弱閾値が最適であることを証明した。
• 正確な弱閾値は、ブロックサイズ $d$、正規化ブロックスパarsity $β_w$、測定比 $α$ を含む方程式系(50)および(51)の解として特徴付けられる。
• 任意の固定された $d$ に対して、システムパラメータが(50)および(51)の等式条件を満たすとき、最適閾値が達成され、高確率で復元が可能になる。
• 導出された上界条件(53)は、復元が高確率で失敗するようになる臨界点を定義しており、閾値の鋭さを確認している。
• 結果は、ブロックスパース設定下での $ÂÂÂÂ_2/\u00c2ÂÂÂ_1$-最適化の性能が、導出された閾値によって本質的に制限されることを確認しており、同様の仮定下では改善が不可能であることを示している。
• 文献[39]で以前に観察された理論的境界と数値シミュレーションの一致が、今や近似的ではなく正確であることが厳密に確認された。