[論文レビュー] Simple Bounds for Recovering Low-complexity Models

Emmanuel J. Candès, Benjamin Recht|arXiv (Cornell University)|Jun 7, 2011

Sparse and Compressive Sensing Techniques参考文献 13被引用数 5

ひとこと要約

本稿では、凸最適化を用いてランダムな線形測定値からスパースなベクトルおよび低ランク行列を回復するための単純で自己完結的な境界を提示する。ラグランジュ双対性と標準的な濃縮不等式を用いた双対証明の解析により、$2s\log n$ 個のガウス測定値が $s$-スパースなベクトル回復に十分であり、$r(6n-5r)$ 個の測定値がランク-$r$ 行列回復に十分であることが示され、技術的負担を最小限に抑えつつ、既存の最良の非漸近的境界と一致する。

ABSTRACT

This note presents a unified analysis of the recovery of simple objects from random linear measurements. When the linear functionals are Gaussian, we show that an s-sparse vector in R^n can be efficiently recovered from 2s log n measurements with high probability and a rank r, n by n matrix can be efficiently recovered from r(6n-5r) with high probability. For sparse vectors, this is within an additive factor of the best known nonasymptotic bounds. For low-rank matrices, this matches the best known bounds. We present a parallel analysis for block sparse vectors obtaining similarly tight bounds. In the case of sparse and block sparse signals, we additionally demonstrate that our bounds are only slightly weakened when the measurement map is a random sign matrix. Our results are based on analyzing a particular dual point which certifies optimality conditions of the respective convex programming problem. Our calculations rely only on standard large deviation inequalities and our analysis is self-contained.

研究の動機と目的

• スパースなベクトルや低ランク行列のような低複雑度モデルを、ランダムな線形測定値から回復するための単純で非漸近的な境界を導出すること。
• スパースベクトルと低ランク行列回復の解析を、同一の双対点証明フレームワークで統一すること。
• 高確率で $\ell_1$-ベースの $s$-スパースなベクトル回復が可能であることを示し、$2s\log n$ 個の測定値が十分であることを示すこと。
• 高確率で $n\times n$ のランク-$r$ 行列のノイズノルムベースの回復が可能であることを示し、$r(6n-5r)$ 個の測定値が十分であることを示すこと。
• ブロックスパース信号およびバイナリ測定行列への解析の拡張を行い、サブガウス分布およびベルヌーイ分布の測定行列に対してロバストであることを示すこと。

提案手法

• 凸緩和問題の解の最適性を証明する双対証明を構築するためにラグランジュ双対性を用いる。
• 解の接空間上に制限された測定行列から導かれる双対ベクトル $\bm{q}$ のノルムを、濃縮不等式を用いて解析する。
• ガウス行列の接空間の直交補空間への射影の作用素ノルムをバウンドするために Davidson-Szarek 不等式を適用する。
• ホーフィングの不等式およびランダム行列の最小特異値の尾部確率を用いて、サブガウス測定値下での双対証明のノルムを制御する。
• 双対証明が要求される不等式 $\|\mathcal{P}_{T^\perp}(\bm{Y})\|_{\infty} < 1$ を高確率で満たすように、測定数 $m$ のバウンドを導出する。
• ブロック-$\ell_1/\ell_2$ 範数を用いてブロックスパース信号に拡張し、i.i.d. $\pm1$ 要素を持つランダム行列に対する濃縮不等式を適用する。

実験結果

リサーチクエスチョン

• RQ1 ガウス測定値を用いた $\ell_1$ 最小化による $s$-スパースなベクトルの正確な回復を保証するために必要な最小測定数は何か？
• RQ2 ガウス測定値を用いたノイズノルム最小化によるランク-$r$ 行列の正確な回復を保証するために必要な最小測定数は何か？
• RQ3 測定行列の要素が i.i.d. $\pm m^{-1/2}$ に従う場合、回復境界はどのように変化するか？
• RQ4 同じ双対点証明法を用いて、ランダムな符号を持つ測定値下でブロックスパース信号に対してタイトな境界が得られるか？
• RQ5 サブガウス測定行列に一般化した場合、境界のタイトさを失わず、解析をどの程度まで拡張できるか？

主な発見

• スパースベクトル回復に関して、i.i.d. ガウス要素を有する $m \geq 2\beta s\log n + s$ 個の測定値が、確率 $1 - 2n^{-f(\beta,s)}$ で正確な回復を保証する。ここで $f(\beta,s)$ は $s$ に関して増加する正の関数である。
• $n \times n$ 行列におけるランク-$r$ 行列回復に関して、ガウス測定値を用いた $m \geq r(6n - 5r)$ 個の測定値が高確率で正確な回復を保証する。これは、既存の最良の非漸近的境界と一致する。
• i.i.d. $\pm m^{-1/2}$ 要素を有するバイナリ測定行列では、$n \geq \exp(c_0/\epsilon^2)$ を満たす限り、$m \geq 2\beta(1-\epsilon)^{-2}s\log n + s$ 個の測定値が、高確率で正確な回復を保証する。
• $M$ 個のブロックと $k$ 個の活性ブロックを持つブロックスパース信号に関して、バイナリ測定値下で $m \geq 4k\beta(1-\epsilon)^{-2}\log M + 2kB$ 個の測定値が、高確率で正確な回復を保証する。
• 双対証明法により、既存の最良の結果の定数倍の範囲内で境界が得られ、解析は標準的な濃縮不等式にのみ依存し、深い関数解析を必要としない。
• この手法はサブガウス測定行列へ一般化可能であるが、低ランク行列回復においては $T$ と $T^\perp$ の作用の間の独立性の欠如が、新たな理論的ツールなしでは境界のタイトさを損なう要因となる。