[論文レビュー] High Dimensional Low Rank and Sparse Covariance Matrix Estimation via Convex Minimization

Xi Luo|arXiv (Cornell University)|Nov 4, 2011

Sparse and Compressive Sensing Techniques参考文献 45被引用数 24

ひとこと要約

この論文は、低ランクおよびスparser成分の和として表現される高次元共分散行列の推定のための凸最適化ベースの推定量LORECを提案する。この手法は真のランクおよびスパarsity構造を正確に回復し、さまざまなノルムにおける収束速度を達成する。また、O(t⁻²)のサブ最適性バウンドを持つNesterov加速アルゴリズムを効率的に用いる。

ABSTRACT

This paper introduces a general framework of covariance structures that can be verified in many popular statistical models, such as factor and random effect models. The new structure is a summation of low rank and sparse matrices. We propose a LOw Rank and sparsE Covariance estimator (LOREC) to exploit this general structure in the high-dimensional setting. Analysis of this estimator shows that it recovers exactly the rank and support of the two components respectively. Convergence rates under various norms are also presented. The estimator is computed efficiently using convex optimization. We propose an iterative algorithm, based on Nesterov’s method, to solve the optimization criterion. The algorithm is shown to produce a solution within O(t −2 ) of the optimal, after any finite t iterations. Numerical performance is illustrated using simulated data and stock portfolio selection on S&P 100.

研究の動機と目的

• 真の共分散行列に低ランクおよびスパース成分が共存する場合の高次元共分散行列推定の課題に対処すること。
• 要因モデルやランダム効果モデルなどの共通する統計モデルを、低ランク＋スパース構造として統合的に捉えるフレームワークの構築。
• 真の共分散行列のランクおよびスパarsityパターンを同時に回復できる計算効率の良い推定量の設計。
• さまざまな行列ノルムにおける推定量の理論的収束速度の確立。
• 大規模応用に適したスケーラブルなアルゴリズムを提供し、理論的収束保証を有すること。

提案手法

• 核ノルム（低ランク構造のため）およびl1ノルム（スパarsityのため）をペナルティとする凸最適化基準として共分散推定問題を定式化する。
• 低ランクおよびスパース成分の両方を同時に推定できる統合的正則化アプローチを用いる。
• Nesterovの最適な一次順序法を用いて凸最適化問題を効率的に解く。
• t反復後に最適解のO(t⁻²)以内に収束することを保証する。
• 問題の凸性を活かして、適切な条件下でグローバル収束および正確な回復を保証する。
• 数値的安定性と速度向上のため、ウォームスタートおよびラインサーチ戦略を実装する。

実験結果

リサーチクエスチョン

• RQ1 統一的推定量は、高次元共分散行列の低ランクおよびスパース成分を同時に回復できるか？
• RQ2 提案された推定量は、さまざまな行列ノルムにおいてどの程度の収束速度を達成できるか？
• RQ3 理論的保証のもとで、高次元において最適化問題はどの程度効率的に解けるか？
• RQ4 理想状態の下で、推定量は真のランクおよびスパarsityパターンを正確に回復するか？
• RQ5 実世界の応用、例えばポートフォリオ選択において、この手法はどの程度の性能を示すか？

主な発見

• 適切な条件下で、LOREC推定量は真の共分散行列のランクおよびスパarsityパターンを正確に回復する。
• Frobeniusノルム、スペクトルノルム、核ノルムの下で収束速度を達成し、分析で明示的なバウンドを提示する。
• Nesterovに基づくアルゴリズムは、t反復後に最適解のO(t⁻²)以内に収束し、高速収束を保証する。
• シミュレートデータを用いた数値実験により、推定量が正しい低ランクおよびスパース構造を回復できることを確認した。
• S&P 100株式ポートフォリオの実世界応用において、ベースライン手法と比較して推定精度および安定性が向上した。
• 計算効率が高く、高次元設定にもスケーラブルであるため、大規模な統計的学習タスクに適している。