[論文レビュー] Bounds on restricted isometry constants of random matrices

Mihailo Stojnic|arXiv (Cornell University)|Jun 17, 2013

Random Matrices and Applications参考文献 35被引用数 3

ひとこと要約

この論文は、極値固有値推定と最適化に基づくリフト技術の先行研究の手法を活用して、特に下位の制限付き等長定数（RIC）に注目し、ランダム行列の制限付き等長定数（RIC）を境界付けるための新しい解析的フレームワークを提示する。従来の和集合バウンディングおよび尾部推定手法に比べ、下位のRICに対してより緊密な境界を達成しており、高次元領域における漸近的解析と数値最適化によって妥当性が検証されている。

ABSTRACT

In this paper we look at isometry properties of random matrices. During the last decade these properties gained a lot attention in a field called compressed sensing in first place due to their initial use in \cite{CRT,CT}. Namely, in \cite{CRT,CT} these quantities were used as a critical tool in providing a rigorous analysis of $\ell_1$ optimization's ability to solve an under-determined system of linear equations with sparse solutions. In such a framework a particular type of isometry, called restricted isometry, plays a key role. One then typically introduces a couple of quantities, called upper and lower restricted isometry constants to characterize the isometry properties of random matrices. Those constants are then usually viewed as mathematical objects of interest and their a precise characterization is desirable. The first estimates of these quantities within compressed sensing were given in \cite{CRT,CT}. As the need for precisely estimating them grew further a finer improvements of these initial estimates were obtained in e.g. \cite{BCTsharp09,BT10}. These are typically obtained through a combination of union-bounding strategy and powerful tail estimates of extreme eigenvalues of Wishart (Gaussian) matrices (see, e.g. \cite{Edelman88}). In this paper we attempt to circumvent such an approach and provide an alternative way to obtain similar estimates.

研究の動機と目的

• 標準的な和集合バウンディングおよび尾部推定手法に依存せずに、ランダム行列の制限付き等長定数（RIC）を推定する新しい手法を開発すること。特に下位のRICに注目する。
• β-スパースなα-アンダーディターミンド系におけるℓ¹最小化による正確な復元を保証するために不可欠な、下位RICの境界の正確性を向上させること。
• n → ∞、k = βn、m = αn である漸近的領域において、期待される下位RICのより緊密で信頼性の高い推定値を提供すること。ただしβ < α/2とする。
• 数値最適化と既存の境界との比較を通じて、提案手法の妥当性を検証すること。特にβ/αが小さい領域で有効性を検証する。

提案手法

• 先行研究[35, 34]の結果を応用したリフト技術を用いて、最小等長定数ξ_lric(β,α)の下界を強化する。
• パラメータc₃^(s)の最適化を通じて下位RICの境界を推定する制約付き最適化問題を定式化する。
• すべてのkスパース部分集合に対する和集合バウンディングを避けるために、連続的リラクゼーションと変分原理を用いて、スパースベクトル上の最小特異値を境界付ける。
• 同様に、単位ノルムの列を有するi.i.d. ガウスランダム行列を対象とし、n → ∞における漸近的境界を導出する。ここでα = m/n、β = k/nとする。
• 最適化は数値的に実行され、表9にαおよびβ/αのさまざまな値に対する結果が報告されている。これにより、ベースライン推定値に比べて改善された下位境界が得られている。
• このフレームワークは、ガウス分布に限らず、他のランダム行列モデルへも一般化可能であり、先行研究[35]で議論されている。

実験結果

リサーチクエスチョン

• RQ1 標準的な和集合バウンディングおよび尾部推定手法に比べ、下位の制限付き等長定数ξ_lric(β,α)に対してより緊密な境界を導出可能か？
• RQ2 提案されたリフトに基づく最適化戦略は、β/αが小さい領域におけるξ_lricの推定をどのように改善するか？
• RQ3 最適化されたパラメータc₃^(s)は、c₃^(s) → 0の極限に比べて、下位境界をどの程度向上させるか？
• RQ4 提案された境界は、漸近的n → ∞領域における真のξ_lricの期待値E[ξ_lric]/√mにどの程度近いか？
• RQ5 この手法は、同様の性能を示す非ガウスランダム行列モデルへも拡張可能か？

主な発見

• β/α = 0.05の場合、最適化されたリフトされた下位境界ξ_lric^(l,lift)はα = 0.9で0.5278に達し、c₃^(s) → 0の極限（0.4631）に比べ顕著な向上を示す。
• β/α = 0.1の場合、リフトされた境界はα = 0.9で0.3969に達し、ベースライン（0.3239）から顕著な改善が確認された。
• β/α = 0.3の場合、リフトされた境界はα = 0.9で0.1599に達し、c₃^(s) → 0の極限（0.0877）に比べて強い向上が得られた。
• β/α = 0.5の場合、リフトされた境界は正の値（α = 0.9で0.0590）を維持しているのに対し、c₃^(s) → 0の極限は負値（-0.002）に達しており、高スパース領域における本手法のロバスト性が示された。
• 結果から、提案手法は真の漸近的E[ξ_lric]/√mに近い境界を生成している可能性が高く、特にβ/αが小さい領域で顕著である。
• 従来の手法に比べ、本手法は下位RICの推定において優れた性能を示しており、特に標準的手法が失敗するスパース領域でその改善効果が顕著である。