[論文レビュー] Meshes that trap random subspaces

Mihailo Stojnic|arXiv (Cornell University)|Mar 29, 2013

Sparse and Compressive Sensing Techniques参考文献 28被引用数 11

ひとこと要約

この論文は、単位球面上の集合とランダム部分空間が交差するというゴードンの古典的結果を再検討し、不定線形方程式系における $\beta$-スパース $\ell_1$-最適化における $\alpha$-スレッショルドの最適性を示すために再利用可能であることを示している。$m/n > w_D(S)^2/n$ のとき、$\ell_1$-最小化の解は、ほとんど確実に真のスパース解を回復できることを確立し、双対性を用いてこのメカニズムの自己最適性を証明することで、このしきい値がタイトであることを示している。

ABSTRACT

In our recent work \cite{StojnicCSetam09,StojnicUpper10} we considered solving under-determined systems of linear equations with sparse solutions. In a large dimensional and statistical context we proved results related to performance of a polynomial $\ell_1$-optimization technique when used for solving such systems. As one of the tools we used a probabilistic result of Gordon \cite{Gordon88}. In this paper we revisit this classic result in its core form and show how it can be reused to in a sense prove its own optimality.

研究の動機と目的

• ゴードンの古典的結果、特にランダム部分空間と単位球面上の集合の交差に関する結果を再検討し、再解釈すること。
• これらの結果が、不定線形系における $\alpha$-スパース $\ell_1$-最適化のスレッショルドの最適性を証明するために再利用可能であることを示すこと。
• ガウス幅 $w_D(S)$ から導かれる回復しきい値のタイトさを示す、双対性に基づくメカニズムを確立すること。
• 同じ確率的道具を再利用することで、$\ell_1$-最適化フレームワークから導かれる $\alpha$-スレッショルドが最適であることを示すこと。

提案手法

• ガウス幅 $w_D(S)$ を用いて、ランダムな $(n-m)$-次元部分空間が単位球面上の集合 $S$ と交差する確率に関するゴードンの結果を再解釈する。
• 双対性原理を適用し、しきい値 $m/n > w_D(S)^2/n$ が、回復のほとんど確実性に対して十分であるだけでなく、必要であることも示す。
• 逆誤差関数 $\mathrm{erfinv}$ と確率的バウンディングを用いて、$\alpha = m/n$ と $\beta_w = k/n$ を含む明示的なしきい値方程式を導出する。
• 式 (3) と (5) の2つの重要な方程式を導出し、$\ell_1$-最適化の成功と失敗の領域を定義するしきい値 $\hat{\theta}_w$ を定義する。
• 幾何的解釈を用い、$\ell_1$-最小化の成功が、特定のスパース構造に関連する集合 $S$ とランダム部分空間の非交差に対応することを示す。
• ゴードンの元々の研究で用いられた同じ確率的道具が、導出されたしきい値の最適性を証明するために再利用可能であり、効果的に自身の最適性を証明できることを示す。

実験結果

リサーチクエスチョン

• RQ1 ゴードンの古典的結果、すなわちランダム部分空間の交差に関する結果を、スパース復元における $\ell_1$-最適化のしきい値の最適性を証明するために再利用可能か？
• RQ2 ランダムな不定線形系において、$\ell_1$-最小化が $k$-スパース解をほとんど確実に回復するための正確な条件は何か？
• RQ3 集合 $S$ のガウス幅 $w_D(S)$ と、成功的回復のための臨界比 $m/n$ の関係は何か？
• RQ4 $\ell_1$-最適化から導かれるしきい値は最適か？ また、同じ確率的ツールを用いてその最適性を証明できるか？
• RQ5 双対性原理を同じフレームワークに適用することで、しきい値がタイト（すなわち、それ未満では失敗する）であることを示せるか？

主な発見

• 成功的 $\ell_1$-最適化回復のしきい値は、$\alpha > \frac{1 - \beta_w}{\sqrt{2\pi}} \left( \sqrt{2\pi} + 2 \frac{\sqrt{2(\mathrm{erfinv}(\frac{1 - \hat{\theta}_w}{1 - \beta_w}))^2}}{e^{(\mathrm{erfinv}(\frac{1 - \hat{\theta}_w}{1 - \beta_w}))^2}} - \sqrt{2\pi} \frac{1 - \hat{\theta}_w}{1 - \beta_w} \right) + \beta_w - \frac{\left( (1 - \beta_w) \sqrt{\frac{2}{\pi}} e^{-(\mathrm{erfinv}(\frac{1 - \hat{\theta}_w}{1 - \beta_w}))^2} \right)^2}{\hat{\theta}_w} $ で与えられ、これはほとんど確実な回復を保証する。
• 失敗の場合は、$\alpha < \frac{1}{(1 + \epsilon_1^{(g)})^2} \left( (1 - \epsilon_1^{(g)}) (\hat{\theta}_w + \frac{2(1 - \beta_w)}{\sqrt{2\pi}} \frac{\sqrt{2(\mathrm{erfinv}(\frac{1 - \hat{\theta}_w}{1 - \beta_w}))^2}}{e^{(\mathrm{erfinv}(\frac{1 - \hat{\theta}_w}{1 - \beta_w}))^2}}) - \frac{\left( (1 - \beta_w) \sqrt{\frac{2}{\pi}} e^{-(\mathrm{erfinv}(\frac{1 - \hat{\theta}_w}{1 - \beta_w}))^2} \right)^2}{\hat{\theta}_w (1 + \epsilon_3^{(g)})^{-2}} \right) $ が成り立ち、これはほとんど確実な回復不能を示している。
• 臨界比 $m/n = w_D(S)^2/n$ が、回復がほとんど確実に成功するか失敗するかの遷移点を示している。
• この論文は、ゴードンの結果から得られた確率的道具を再利用することで、$\ell_1$-最適化フレームワークから導かれるしきい値が最適であることを証明しており、効果的に自身の最適性を証明している。
• $\ell_1$-最小化の成功は、特定の集合 $S$ とランダムな $(n-m)$-次元部分空間の非交差に対応し、これはガウス幅 $w_D(S)$ で特徴づけられる。
• このフレームワークは、交差確率をバウンドするために用いられた同じツールが、双対化可能であり、それより低いしきい値では回復を保証できないことを証明できることを示しており、タイトさを確立している。