[論文レビュー] Exact and Stable Covariance Estimation from Quadratic Sampling via Convex Programming

Yuxin Chen, Yuejie Chi+1 more|arXiv (Cornell University)|Oct 2, 2013

Sparse and Compressive Sensing Techniques参考文献 43被引用数 21

ひとこと要約

本稿では、低ランク、スパース、または構造的共分散仮定を用いて、2次（ランク1）測定からの正確かつ安定した共分散推定のための凸最適化フレームワークを提案する。新しい混合ノルム制限等長性（RIP-$\ell_{2}/\ell_{1}$）を活用することで、ストリーミング、位相再構成、無線通信応用において、最小限のストレージと計算量で、情報理論的限界まで普遍的な回復が達成可能である。

ABSTRACT

Statistical inference and information processing of high-dimensional data often require efficient and accurate estimation of their second-order statistics. With rapidly changing data, limited processing power and storage at the acquisition devices, it is desirable to extract the covariance structure from a single pass over the data and a small number of stored measurements. In this paper, we explore a quadratic (or rank-one) measurement model which imposes minimal memory requirements and low computational complexity during the sampling process, and is shown to be optimal in preserving various low-dimensional covariance structures. Specifically, four popular structural assumptions of covariance matrices, namely low rank, Toeplitz low rank, sparsity, jointly rank-one and sparse structure, are investigated, while recovery is achieved via convex relaxation paradigms for the respective structure. The proposed quadratic sampling framework has a variety of potential applications including streaming data processing, high-frequency wireless communication, phase space tomography and phase retrieval in optics, and non-coherent subspace detection. Our method admits universally accurate covariance estimation in the absence of noise, as soon as the number of measurements exceeds the information theoretic limits. We also demonstrate the robustness of this approach against noise and imperfect structural assumptions. Our analysis is established upon a novel notion called the mixed-norm restricted isometry property (RIP-$\ell_{2}/\ell_{1}$), as well as the conventional RIP-$\ell_{2}/\ell_{2}$ for near-isotropic and bounded measurements. In addition, our results improve upon the best-known phase retrieval (including both dense and sparse signals) guarantees using PhaseLift with a significantly simpler approach.

研究の動機と目的

• 高次元データストリームにおいて、最小限のストレージと計算コストで正確かつ1回のパスで共分散推定を可能にすること。
• わずかなランク1測定しか利用できない状況において、構造的共分散行列を推定する課題に対処すること。
• さまざまな低次元共分散構造の下で、正確かつ安定した回復を保証する凸プログラミングフレームワークを開発すること。
• 新しい混合ノルム制限等長性（RIP-$\\ell_{2}/\\ell_{1}$）を用いた回復の理論的保証を確立すること。

提案手法

• 測定ベクトル $ \mathbf{a}_i $ を用いて共分散行列 $ \boldsymbol{\Sigma} $ を最小限のメモリと計算量でサンプリングする形で、$ y_i = \mathbf{a}_i^T \boldsymbol{\Sigma} \mathbf{a}_i $ の形の2次測定を用いる。
• 低ランク、トーペリッツ低ランク、スパarsity、およびランク1とスパース構造の併存という4つの構造的仮定に適した凸緩和問題を定式化する。
• 核ノルム最小化と構造的スパarsity促進ペナルティを用いて回復を達成し、取り扱いやすく安定した解を保証する。
• 測定演算子の安定性を特徴づけ、正確な回復を保証するために、新しい混合ノルム制限等長性（RIP-$\ell_{2}/\ell_{1}$）を導入する。
• 推定誤差をノイズやモデル不一致の下で制御するため、被覆数とメトリックエントロピーの境界に依存する理論的分析を実施する。
• PhaseLiftを用いた既存の位相再構成保証を上回り、より単純でより一般的なアプローチを提供する。

実験結果

リサーチクエスチョン

• RQ1 低ランクまたはスパース構造の仮定の下で、わずかなランク1測定からの正確かつ安定した共分散推定が可能か？
• RQ2 普遍的な共分散回復に必要な測定数の情報理論的限界は何か？
• RQ3 ノイズや不完全な構造的仮定の下で、提案された凸プログラミングフレームワークの性能はいかがなものか？
• RQ4 2次測定に対してRIP-$\ell_{2}/\ell_{1}$性質を確立でき、安定な回復を保証できるか？
• RQ5 計算複雑性の観点から、PhaseLiftのような既存の位相再構成技術と比較して、本手法はどのような回復保証を達成できるか？

主な発見

• ノイズのない状況では、測定数が情報理論的限界を超えた時点で、いかなる構造的仮定の下でも正確な共分散推定が達成される。
• 提案されたフレームワークはノイズやモデル不一致に対してロバストであり、構造的仮定が不完全であっても安定した回復を維持する。
• 理論的分析により、混合ノルムRIP-$\ell_{2}/\ell_{1}$性質がサブガウス型の測定ベクトルの下で、高確率で安定な回復を保証することが示された。
• PhaseLiftを用いた既存の最高の位相再構成保証を上回り、より単純でより一般的な凸緩和アプローチを提供する。
• 新しいRIP-$\ell_{2}/\ell_{1}$条件の下で、回復誤差は $ O(\sqrt{r} \log^3 n) $ で有界である。ここで $ r $ はランク、$ n $ は環境次元である。
• フレームワークにより、ストリーミングデータ、高周波数無線信号、位相再構成応用の効率的処理が、最小限のストレージと計算オーバーヘッドで可能になる。