[论文解读] Meshes that trap random subspaces

Mihailo Stojnic|arXiv (Cornell University)|Mar 29, 2013

Sparse and Compressive Sensing Techniques参考文献 28被引用 11

一句话总结

本文重新探討戈登关于随机子空间與單位球面上集合相交的經典結果，展示如何重用該結果來證明不確定線性系統中 $\beta$-稀疏 $\ell_1$-優化下 $\alpha$-閾值的最優性。研究證明，當 $m/n > w_D(S)^2/n$ 時，$\ell_1$-最小化可以以高概率恢復真實的稀疏解，並透過對偶性證明該閾值是緊緻的，從而確立機制的自最優性。

ABSTRACT

In our recent work \cite{StojnicCSetam09,StojnicUpper10} we considered solving under-determined systems of linear equations with sparse solutions. In a large dimensional and statistical context we proved results related to performance of a polynomial $\ell_1$-optimization technique when used for solving such systems. As one of the tools we used a probabilistic result of Gordon \cite{Gordon88}. In this paper we revisit this classic result in its core form and show how it can be reused to in a sense prove its own optimality.

研究动机与目标

• 重新探討戈登關於隨機子空間及其與單位球面上集合相交的經典結果。
• 展示這些結果可被重用以證明不確定系統中 $\alpha$-稀疏 $\ell_1$-優化閾值的最優性。
• 建立基於對偶性的機制，以證明由高斯寬度 $w_D(S)$ 衍生的恢復閾值的緊緻性。
• 透過重用相同的機率工具，證明從 $\ell_1$-優化框架中導出的 $\alpha$-閾值是最優的。

提出的方法

• 以高斯寬度 $w_D(S)$ 重新詮釋戈登關於隨機 $(n-m)$-維子空間與單位球面上集合 $S$ 相交機率的結果。
• 應用對偶原理，證明閾值 $m/n > w_D(S)^2/n$ 不僅充分，而且在高概率恢復下是必要的。
• 使用反誤差函數 $\mathrm{erfinv}$ 和機率界，推導出涉及 $\alpha = m/n$ 和 $\beta_w = k/n$ 的明確閾值方程。
• 推導出兩個關鍵方程（3）與（5），定義 $\ell_1$-優化成功與失敗區域的閾值 $\hat{\theta}_w$。
• 採用幾何詮釋：$\ell_1$-最小化成功等價於隨機子空間與與稀疏結構相關的特定集合 $S$ 不相交。
• 證明戈登原始工作中使用的相同機率工具可被重新利用，以證明所導出閾值的最優性，從而實現其自身的自最優性證明。

实验结果

研究问题

• RQ1 戈登關於隨機子空間相交的經典結果能否被重用，以證明稀疏恢復中 $\ell_1$-優化閾值的最優性？
• RQ2 在隨機不確定系統中，$\ell_1$-最小化以高概率恢復 $k$-稀疏解的精確條件是什麼？
• RQ3 集合 $S$ 的高斯寬度 $w_D(S)$ 如何與成功恢復的臨界比率 $m/n$ 相關？
• RQ4 從 $\ell_1$-優化導出的閾值是否最優？能否使用相同的機率工具證明其最優性？
• RQ5 對偶原理能否應用於同一框架，以證明閾值是緊緻的，即在閾值以下會導致失敗？

主要发现

• 成功恢復的 $\ell_1$-優化閾值由下式給出：$\alpha > \frac{1 - \beta_w}{\sqrt{2\pi}} \left( \sqrt{2\pi} + 2 \frac{\sqrt{2(\mathrm{erfinv}(\frac{1 - \hat{\theta}_w}{1 - \beta_w}))^2}}{e^{(\mathrm{erfinv}(\frac{1 - \hat{\theta}_w}{1 - \beta_w}))^2}} - \sqrt{2\pi} \frac{1 - \hat{\theta}_w}{1 - \beta_w} \right) + \beta_w - \frac{\left( (1 - \beta_w) \sqrt{\frac{2}{\pi}} e^{-(\mathrm{erfinv}(\frac{1 - \hat{\theta}_w}{1 - \beta_w}))^2} \right)^2}{\hat{\theta}_w} $，該式可確保以高概率恢復解。
• 對於失敗情況，條件 $\alpha < \frac{1}{(1 + \epsilon_1^{(g)})^2} \left( (1 - \epsilon_1^{(g)}) (\hat{\theta}_w + \frac{2(1 - \beta_w)}{\sqrt{2\pi}} \frac{\sqrt{2(\mathrm{erfinv}(\frac{1 - \hat{\theta}_w}{1 - \beta_w}))^2}}{e^{(\mathrm{erfinv}(\frac{1 - \hat{\theta}_w}{1 - \beta_w}))^2}}) - \frac{\left( (1 - \beta_w) \sqrt{\frac{2}{\pi}} e^{-(\mathrm{erfinv}(\frac{1 - \hat{\theta}_w}{1 - \beta_w}))^2} \right)^2}{\hat{\theta}_w (1 + \epsilon_3^{(g)})^{-2}} \right) $ 成立，表示以高概率無法恢復解。
• 臨界比率 $m/n = w_D(S)^2/n$ 表示恢復從幾乎必然成功轉變為幾乎必然失敗的閾值點。
• 本文證明，從 $\ell_1$-優化框架中導出的閾值是最優的，方法是重用戈登結果中的相同機率工具，從而實現其自最優性證明。
• $\ell_1$-最小化的成功等價於隨機 $(n-m)$-維子空間與集合 $S$ 不相交，而該集合由高斯寬度 $w_D(S)$ 所表徵。
• 該框架表明，用於界定相交機率的相同工具可被對偶化，以證明不存在更低的閾值能保證恢復，從而確立閾值的緊緻性。