[論文レビュー] Recovering Model Structures from Large Low Rank and Sparse Covariance Matrix Estimation

Xi Luo|arXiv (Cornell University)|Nov 4, 2011

Sparse and Compressive Sensing Techniques参考文献 43被引用数 13

ひとこと要約

本稿は、分離可能な滑らかでない罰則を用いたペナルティ非尤度損失関数を用いて、高次元データから低ランクおよびスパースな共分散行列構造を回復する凸最適化フレームワークを提案する。この手法は、成分のランクおよびスパarsityパターンを正確に回復し、1次元アルゴリズムにより $O(t^{-2})$ の収束速度を達成する。シミュレートされたデータおよびS&P 100ポートフォリオ選択の実験により検証された。

ABSTRACT

Many popular statistical models, such as factor and random effects models, give arise a certain type of covariance structures that is a summation of low rank and sparse matrices. This paper introduces a penalized approximation framework to recover such model structures from large covariance matrix estimation. We propose an estimator based on minimizing a non-likelihood loss with separable non-smooth penalty functions. This estimator is shown to recover exactly the rank and sparsity patterns of these two components, and thus partially recovers the model structures. Convergence rates under various matrix norms are also presented. To compute this estimator, we further develop a first-order iterative algorithm to solve a convex optimization problem that contains separa- ble non-smooth functions, and the algorithm is shown to produce a solution within O(1/t^2) of the optimal, after any finite t iterations. Numerical performance is illustrated using simulated data and stock portfolio selection on S&P 100.

研究の動機と目的

• 高次元共分散行列から、具体的には低ランクおよびスパースな成分を含む潜在的統計モデル構造を回復する課題に対処すること。
• 事前にモデルに関する知識を必要とせず、真のランクおよびスパarsityパターンを回復できる手法を開発すること。
• さまざまな行列ノルム下での理論的収束速度を提供し、大規模問題における計算可能性を保証すること。
• 要因モデルやランダム効果モデルなどの代表的なモデルに適用可能な統合的フレームワークを提供すること。
• 従来の標本共分散が失敗する高次元設定において、データ駆動型チューニングにより推定精度を向上させること。

提案手法

• 低ランク成分（核ノルム）およびスパース成分（lasso型）に対して、分離可能な滑らかでない罰則項を含むペナルティ非尤度損失関数を定式化する。
• 凸最小化により、共分散行列を低ランク行列 $\mathbf{L}^*$ とスパース行列 $\mathbf{S}^*$ の和 $\mathbf{\Sigma}^* = \mathbf{L}^* + \mathbf{S}^*$ として推定する。
• Nesterovの最適法に基づく1次元反復アルゴリズムを用いて、凸最適化問題を解き、$O(t^{-2})$ の収束速度を達成する。
• 各反復で完全な特異値分解（SVD）を用いて低ランク成分を更新するが、将来的に部分SVDへの拡張を想定している。
• 実用的応用を可能にするために、CRANに公開されたRパッケージとして実装している。
• 理論的境界や交差検証に基づくチューニングパラメータを用いるが、将来的にはデータ駆動型選択手法の導入も検討されている。

実験結果

リサーチクエスチョン

• RQ1 凸最適化フレームワークは、高次元共分散行列における低ランクおよびスパース成分の正確なランクおよびスパarsityパターンを回復できるか？
• RQ2 Frobeniusノルムおよび作用素ノルム下で、提案推定量の収束速度はどのようになるか？
• RQ3 要因モデルなどのモデル構造を回復する観点で、既存の手法と比較して本手法はどのように優れているか？
• RQ4 ファイナンスリターンのような大規模データセットに対しても、本手法は計算的に効率的かつスケーラブルか？
• RQ5 データ駆動型チューニング戦略が推定量の性能に与える影響は何か？

主な発見

• 適切な条件下で、提案された推定量は低ランクおよびスパース成分のランクおよびスパarsityパターンを正確に回復する。
• $t$ 回の反復後の最適性ギャップに関して、$O(t^{-2})$ の収束速度を達成しており、1次元アルゴリズムの高速収束を裏付ける。
• Frobeniusノルムおよび作用素ノルムの両方において理論的収束速度が確立されており、Frobeniusノルムの結果は最小最大最適性であると予想されている。
• S&P 100株式リターンに対する実証的結果から、半導体企業（TIやHPなど）の間で持続的な相関関係が明確に回復されていることが示された。
• LOREC（本手法）が回復したローディングベクトルは、CAPMからのものと一貫して小さな角度（27.33° から 9.90°）を示しており、プロキシを必要とせずに確立された金融モデルと整合している。
• Rパッケージの実装により実用的応用が可能であり、将来的には部分SVDやSCADや適応lassoなどの適応的罰則の導入が予想される。