[論文レビュー] Ensemble Estimation of Large Sparse Covariance Matrix Based on Modified Cholesky Decomposition

Xiaoning Kang, Xinwei Deng|arXiv (Cornell University)|Dec 1, 2017

Blind Source Separation Techniques被引用数 1

ひとこと要約

本稿では、変数の順序の柔軟性を活用して複数の推定値を生成し、Frobeniusノルムで最適な中心を最終的な正定値推定値として選ぶことにより、修正コレスキー分解を用いた大規模なスパース共分散行列のアンサンブル推定器を提案する。この手法は正定値性を保証し、スパース構造の回復を達成する。弱い正則性条件のもとで、アルゴリズム的および漸近的収束性について理論的保証が与えられる。

ABSTRACT

Estimation of large sparse covariance matrices is of great importance for statistical analysis, especially in the high dimensional setting. The traditional approach such as sample covariance matrix could perform poorly due to the high dimensionality. In this work, we propose a positive-definite estimator for the covariance matrix based on the modified Cholesky decomposition. The modified Cholesky decomposition relies on the order of variables, which provides the flexibility to obtain a set of covariance matrix estimates under different orders of variables. The proposed method considers an ensemble estimator as the center of such a set of covariance matrix estimates with respect to the Frobenius norm. The proposed estimator is not only guaranteed to be positive definite, but also can capture the underlying sparse structure of the covariance matrix. Under some weak regularity conditions, both algorithmic convergence and asymptotical convergence are established. The merits of the proposed method are illustrated through simulation studies and one real data example.

研究の動機と目的

• 高次元設定における標本共分散行列の性能の悪さを是正すること。
• 大規模な共分散行列の背後にあるスパース構造を捉える正定値推定器を開発すること。
• 修正コレスキー分解における変数の順序の柔軟性を活用して、複数の候補推定値を生成すること。
• すべての候補推定値とのFrobeniusノルム距離を最小化するアンサンブル推定器を構築すること。
• 高次元漸近的設定におけるアルゴリズムおよび推定器の理論的収束性を確立すること。

提案手法

• 変数の順序に依存する修正コレスキー分解を用いて、正定値共分散行列推定値の集合を生成する。
• 異なる変数の順序を適用して複数の推定値を生成し、分解の柔軟性を活かして多様な構造的パターンを探索する。
• アンサンブル推定器を候補推定値集合のFrobeniusノルム中心として定義し、Frobenius距離の二乗和を最小化する。
• 凸結合として構築されるため、最終的な推定器は構成上正定値性を保証する。
• アルゴリズム的および漸近的収束性を確立するために、弱い正則性条件を用いる。
• 反復最適化を用いてアンサンブル推定器を計算し、個々の推定値への忠実性と全体の安定性のバランスをとる。

実験結果

リサーチクエスチョン

• RQ1 修正コレスキーに基づく推定値のアンサンブルは、大規模なスパース共分散行列推定の精度と安定性を向上させることができるか？
• RQ2 修正コレスキーフレームワークにおいて、変数の順序の選択が個々の共分散行列推定値の品質にどのように影響するか？
• RQ3 複数のコレスキーに基づく推定値を、1つの強固で正定値の推定器に効果的に統合する最適な方法は何か？
• RQ4 提案されたアンサンブル推定器は、高次元漸近的設定でも一貫性と収束性を維持するか？
• RQ5 弱い正則性条件のもとで、この手法は真のスパース構造を効果的に回復できるか？

主な発見

• 提案されたアンサンブル推定器は、正定値行列の凸結合として構築されるため、構成上正定値性が保証される。
• この手法は、高次元設定においても真の共分散行列の背後にあるスパース構造を効果的に捉えることができる。
• 弱い正則性条件のもとでアルゴリズム的収束性が確立され、安定した反復的計算が保証される。
• 漸近的収束性が証明されており、標本サイズが増加するにつれて推定器が真の共分散行列に近づくことが示される。
• シミュレーションスタディおよび実データ例により、従来の標本共分散行列や他のスパース推定器よりも、推定精度と安定性において本手法の優位性が示された。