[論文レビュー] Group Lasso estimation of high-dimensional covariance matrices

Jérémie Bigot, Biscay, Rolando+2 more|arXiv (Cornell University)|Oct 8, 2010

Random Matrices and Applications参考文献 28被引用数 8

ひとこと要約

本稿では、ノイズのある確率過程の基底展開におけるスパarsityを活用して、高次元共分散行列推定のためのグループラッソベースの手法を提案する。この手法は、グループラッソ正則化を用いて関連する基底関数を選択し、フロベニウスノルムおよび作用素ノルムにおいて一貫性を確保する。また、低ランク近似によりスパースPCAを可能にする。

ABSTRACT

In this paper, we consider the Group Lasso estimator of the covariance matrix of a stochastic process corrupted by an additive noise. We propose to estimate the covariance matrix in a high-dimensional setting under the assumption that the process has a sparse representation in a large dictionary of basis functions. Using a matrix regression model, we propose a new methodology for high-dimensional covariance matrix estimation based on empirical contrast regularization by a group Lasso penalty. Using such a penalty, the method selects a sparse set of basis functions in the dictionary used to approximate the process, leading to an approximation of the covariance matrix into a low dimensional space. Consistency of the estimator is studied in Frobenius and operator norms and an application to sparse PCA is proposed.

研究の動機と目的

• 観測数nがパラメータ数に対して小さい状況における高次元共分散行列推定の課題に対処すること。
• 辞書としての基底関数におけるスパarsityを活用して、共分散行列推定問題の有効次元を低減すること。
• 経験的対比にグループラッソペナルティを適用することで、関連する基底関数を選択する正則化推定フレームワークを構築すること。
• 高次元漸近的条件下で、推定量のフロベニウスノルムおよび作用素ノルムにおける理論的一貫性を確立すること。
• 真の共分散行列を低次元部分空間で近似することで、本手法のスパースPCAへの応用の有効性を示すこと

提案手法

• プロセスを大規模な基底関数の辞書で展開する行列回帰モデルとして共分散推定問題を定式化する。
• 基底関数に対応する係数群のスパarsityを促進するために、経験的対比にグループラッソペナルティを適用する。
• グループラッソ推定量を用いてスパースな基底関数の集合を選択し、真の共分散行列の低ランク近似を導く。
• 部分ガウス型尾部仮定の下で、集中不等式を用いて推定共分散行列と真の共分散行列との乖離を制御する。
• 変換されたデータベクトルのモーメントおよび尾部条件の検証により、作用素ノルムおよびフロベニウスノルムにおける一貫性を確立する。
• 設計行列の構造およびノイズの性質を活用して、部分ガウスノルム制御を用いて推定誤差の境界を導出する

実験結果

リサーチクエスチョン

• RQ1 グループラッソ正則化は、ノイズのある観測下で高次元共分散行列を近似するためのスパースな基底関数集合を効果的に選択できるか？
• RQ2 n ≫ N の条件下で、提案されたグループラッソ推定量はフロベニウスノルムおよび作用素ノルムにおいて一貫性を示すか？
• RQ3 真のプロセスが基底においてスパースである場合、本手法は共分散行列の低次元構造をどれほど正確に回復できるか？
• RQ4 本推定量を用いて高次元設定において一貫性を持つスパースPCA手順を構築できるか？
• RQ5 部分ガウス型ノイズおよび基底展開の下で、グループラッソに基づく共分散推定量の理論的誤差境界は何か？

主な発見

• 高次元漸近的条件下で、グループラッソ推定量は作用素ノルムにおいて一貫性を示し、誤差境界が $ \tilde{\tau}_{N,s_{\bullet}} \times (\text{log}(M))^{\frac{2+\beta}{\beta}} $ のように減少する。ここで $ \tilde{\tau}_{N,s_{\bullet}} $ は部分ガウスノルムと標本サイズに依存する。
• 推定量はフロベニウスノルムにおいて一貫性を示し、真のモデルが基底辞書においてスパースである限り、標本サイズが増加するにつれて誤差がゼロに収束する。
• 選択された基底集合 $ \tilde{J} $ が真のスパースサポート $ J^* $ と高確率で一致することを保証し、一貫性のある低ランク近似を可能にする。
• 部分ガウス型尾部仮定と集中不等式を用いて推定誤差の理論的境界を導出し、選択された基底のグラム行列の最小固有値に明示的な依存関係を示す。
• 選択された基底関数で張られる低次元部分空間において共分散行列を近似することで、一貫性を持つスパースPCAを実現する。
• 推定量が与えられた誤差閾値よりも大きく逸脱する確率は、候補基底数Mの対数のべき乗において指数的に減少する