[論文レビュー] A Quotient Property for Matrices with Heavy-Tailed Entries and its Application to Noise-Blind Compressed Sensing

Felix Krahmer, Christian Kümmerle+1 more|arXiv (Cornell University)|Jun 11, 2018

Sparse and Compressive Sensing Techniques参考文献 11被引用数 10

ひとこと要約

本稿は、重尾を持つエントリを有するランダム行列に対して $ι_{1}$-商性質を確立し、そのような行列が高確率でスパースベクトルのロバストかつノイズに依存しない $ι_{1}$-最小化による復元を可能にすることを証明する。主な貢献は、従来のサブガウス型およびガウス型のエントリを超えて、一元的な解析を提供し、超ガウス型分布に対して優れたロバスト性を示していることである。

ABSTRACT

For a large class of random matrices $A$ with i.i.d. entries we show that the $\ell_1$-quotient property holds with probability exponentially close to 1. In contrast to previous results, our analysis does not require concentration of the entrywise distributions. We provide a unified proof that recovers corresponding previous results for (sub-)Gaussian and Weibull distributions. Our findings generalize known results on the geometry of random polytopes, providing lower bounds on the size of the largest Euclidean ball contained in the centrally symmetric polytope spanned by the columns of $A$. At the same time, our results establish robustness of noise-blind $\ell_1$-decoders for recovering sparse vectors $x$ from underdetermined, noisy linear measurements $y = Ax + w$ under the weakest possible assumptions on the entrywise distributions that allow for recovery with optimal sample complexity even in the noiseless case. Our analysis predicts superior robustness behavior for measurement matrices with super-Gaussian entries, which we confirm by numerical experiments.

研究の動機と目的

• サブガウス型およびガウス型モデルを超えて、重尾的かつ集中しないエントリを有するランダム行列への $ι_{1}$-商性質の拡張を目的とする。
• ノイズレベルの事前知識を必要としない、$ι_{1}$-最小化によるロバストかつノイズに依存しない復元保証を確立すること。
• 広範な分布クラスに適用可能な、単一の解析的枠組みのもとで、既存のランダムポリトープ幾何学と $ι_{1}$-最小化に関する結果を統一すること。
• 理論的および数値的に、超ガウス型エントリを有する測定行列がノイズのある復元において向上したロバスト性を示すことを示すこと。
• ランダムポリトープ $AB_{1}^{N}$ の内接円の半径に関するタイトな確率的下界を提供すること。これは、グルスキン＝カシーンおよびリトヴァック型の結果を一般化する。

提案手法

• i.i.d. の重尾的エントリに対して、濃度不等式を避ける統一的証明フレームワークを構築し、モーメントおよび尾確率推定に依存する。
• ノルム $\|\cdot\|^{(\sqrt{\log(eN/m)})}$ に関する修正された $ι_{1}$-商性質を導入し、測定行列が $ι_{1}$-球の像の幾何を捉える。
• ノルム空間 $\ell_{p}$（$1 \leq p \leq 2$）における誤差境界を導出するために、ヌル空間性質（NSP）およびステッキーンの推定を適用する。
• クリッピング法と、$A\tilde{z} = w$ を満たし、$\ell_{1}$-ノルムが制御可能なベクトル $\tilde{z}$ の確率的構成を用いて、復元誤差をバインドする。
• $\ell_{1}$-商性質とヌル空間性質の高確率的イベントを組み合わせることで、高い信頼性のもとでの安定な復元を導出する。
• 小さな確率法とモーメントバウンドを用いて、$\log(N)$ 個の有限モーメントしか持たない分布に対しても、強い濃度仮定を回避する。

実験結果

リサーチクエスチョン

• RQ1 強い濃度を満たさない重尾的エントリを有するランダム行列に対し、$ι_{1}$-商性質を確立できるか？
• RQ2 測定行列が超ガウス型エントリを有する場合、ノイズに依存しない $ι_{1}$-最小化がスパースベクトルの安定的かつロバストな復元を達成できるか？
• RQ3 測定行列のエントリに弱いモーメント仮定が成り立つ場合の、回復の最適なサンプル複雑度は何か？
• RQ4 ランダムポリトープ $AB_{1}^{N}$ の幾何（特にその内接円の半径）は、重尾的行列に対してどのように振る舞うか？
• RQ5 サブガウス型およびガウス型行列に対する既知の結果を一括して回復できる、単一の解析的枠組みを構築できるか？

主な発見

• $ι_{1}$-商性質は、$\log(N)$ 個の有限モーメントしか持たない i.i.d. の対称的かつ単位分散エントリを有する $m \times N$ ランダム行列に対して、指数的に1に近い確率で成立する。
• ランダムポリトープ $AB_{1}^{N}$ の内接円の半径は、重尾的エントリに対しても、$\Omega(\sqrt{\log(eN/m)})$ 倍のユークリッドノルムによって下から抑えられる。
• ノイズに依存しない $ι_{1}$-最小化は、$\|x - \Delta_{1,\eta}(Ax + w)\|_p \leq C \sigma_s(x)_1 / s^{1-1/p} + D \eta + E \|w\|^{(\sqrt{\log(eN/m)})}$ の形の $\ell_{p}$-誤差バウンドを達成する。定数はノイズレベルに依存しない。
• 復元誤差はスパarsity $s$ およびノイズレベル $\eta$ に関して最適にスケーリングされ、ノイズが未知であってもロバストである。
• 数値実験により、ラプラス分布などの超ガウス型エントリが、サブガウス型やガウス型エントリよりも優れたロバスト性を示すことが確認された。
• 本分析は、サブガウス型およびガウス型行列に対する既存の結果を統一的かつ一般化し、既知の内接円およびヌル空間性質のバウンドを特別な場合として回復する。