[論文レビュー] Sparse Recovery, Kashin Decomposition and Conic Programming

Alexandre d’Aspremont|arXiv (Cornell University)|Jan 15, 2011

Mathematical Approximation and Integration参考文献 16被引用数 8

ひとこと要約

本稿は、スパース回復、カシーン分解、および錐計画法を結びつける新規フレームワークを提示し、$ℚ^n$ 内の$⁡1$-ノルム球の断片の直径に対するタイトな緩和上限を導出する。双対性と半正定値計画法の緩和を活用することで、特に制限等長性と確率的核空間仮定の下で、$⁡1$-最小化による正確なスパース信号回復の十分条件を確立し、$⁡2 \to ⁡1$ 演算子ノルムとMAXCUT型SDP近似を用いて回復性能の明示的上限を提示する。

ABSTRACT

We produce relaxation bounds on the diameter of arbitrary sections of the l1 ball in R^n. We use these results to test conditions for sparse recovery.

研究の動機と目的

• $⁡1$-ノルム球の任意の断片の直径に対する計算可能な緩和上限を、カシーン分解技術を用いて$⁡^n$ で導出すること。
• 特に離散信号 $⁡\{-1,0,1\}^n$ におけるスパース信号の $⁡1$-最小化による正確な回復が可能となる十分条件を確立すること。
• 感測行列 $A$ の核空間の幾何的性質と、圧縮センシングの回復性能との関係を、双対ノルムおよび演算子ノルムの上限を通じて接続すること。
• ガウス平均と半正定値計画法を用いて、Dvoretzky次元および関連する幾何的量（例：$M(K)$, $M^*(K)$）を近似し、確率的回復保証を得ること。
• $⁡1$-最小化による $S$-スパース信号の正確な回復に必要な測定回数を推定する、確率的多項式時間アルゴリズムを提供すること。

提案手法

• 制限等長性を満たす行列 $A$ に対して、$\delta < 1$ の下で、$\|x\|_2 / \|x\|_1$ の比をカシーン分解を用いて核空間上で束縛し、$\leq 2 / ((1 - \delta)\sqrt{k^*})$ という重要な上限を導出する。
• 双対性を適用して、$\ell_1$-回復可能な信号の集合 $\mathcal{U}$ を、条件 $\sup_{Ax=0, \|x\|_1 \leq 1} \|x\| < 1 / \|u\|_*$ で特徴付ける。これにより、核空間上のノルム比と回復性が結びつく。
• MAXCUT型半正定値緩和を用いて、混合 $\|\cdot\|_{2 \to 1}$ 演算子ノルムを近似し、$\frac{2}{\pi} \text{SDP}(F) \leq \max_{\|x\|_2 \leq 1} \|Fx\|_1^2 \leq \text{SDP}(F)$ の境界を得る。
• ガウス分布および球面平均を用いて、$\|Fy\|_1$ の単位球の平均幅 $M(K)$ を近似し、$M(K) \approx \left(\frac{1}{\sqrt{n}} + \frac{1}{4n^{3/2}}\right) \sqrt{\frac{2}{\pi}} \sum_{i=1}^n \|F_i\|_2$ を示す。
• 球面上の $N = \mathcal{O}(\log(1/\beta)/\delta^2)$ 個の点をサンプリングすることで、$M^*(K)$ を確率的推定するための確率的アルゴリズムを提案し、相対誤差 $\delta$ で $1 - \beta$ の確率で近似可能であることを示す。
• 双対特徴付けとして、$M^*(K)$ を $\mathbb{E}[\min_{F^T x = g} \|x\|_\infty]$ として導出し、ガウスベクトル上の線形計画法による計算を可能にする。

実験結果

リサーチクエスチョン

• RQ1 感測行列 $A$ と信号 $u$ がどのような条件下で、$\ell_1$-最小化により $Au$ から $u$ を正確に回復できるか。
• RQ2 カシーン分解と双対ノルム不等式を用いて、$\ell_1$-ノルム球の断片の直径をどのように束縛できるか。
• RQ3 制限等長性と、行列 $A$ の核空間上での $\ell_2 / \ell_1$ 確率比との関係は何か。
• RQ4 $\ell_2 \to \ell_1$ 演算子ノルムは、半正定値計画法を用いて効率的に近似可能か。その近似の品質はどの程度か。
• RQ5 高次元において、サンプリングと確率的手法を用いて、$\ell_1$-断片の平均幅 $M(K)$ と双対平均幅 $M^*(K)$ をどのように推定できるか。

主な発見

• 行列 $A$ が $3k^*$ 階の制限等長性を満たし、$\delta < 1$ であれば、$\sup_{Ax=0} \|x\|_2 / \|x\|_1$ の比は $2 / ((1 - \delta)\sqrt{k^*})$ で有界である。
• 離散信号 $u \in \{-1,0,1\}^n$ に対して、$\sup_{Ax=0, \|x\|_1 \leq 1} \|x\| < 1 / \|u\|_*$ が成り立つならば、$u$ は $\ell_1$-回復可能であり、$\ell_1$-最小化の解は真の信号のサポートと符号パターンと一致することが保証される。
• $AF = 0$ を満たす行列 $F$ の $\ell_2 \to \ell_1$ 演算子ノルムは、半正定値計画法により $2/\pi$ 因子の誤差で近似可能であり、回復境界の効率的計算が可能になる。
• 単位球 $\|Fy\|_1$ の球面平均幅 $M(K)$ は漸近的に $\left(\frac{1}{\sqrt{n}} + \frac{1}{4n^{3/2}}\right) \sqrt{\frac{2}{\pi}} \sum_{i=1}^n \|F_i\|_2$ に一致し、幾何的および確率的測度が結びつく。
• $M^*(K)$ は、球面上に $N = \mathcal{O}(\log(1/\beta)/\delta^2)$ 個の点をサンプリングすることで、相対誤差 $\delta$ で $1 - \beta$ の確率で近似可能である。
• $\ell_1$-最小化による $S$-スパース信号の正確な回復に必要な測定回数 $S$ を推定する、確率的多項式時間アルゴリズムが提案され、$M^*(K)$ の近似をガウスベクトル上の線形計画法で行う。