[論文レビュー] An Improved Modified Cholesky Decomposition Method for Inverse Covariance Matrix Estimation

Xiaoning Kang, Xinwei Deng|arXiv (Cornell University)|Oct 14, 2017

Blind Source Separation Techniques被引用数 4

ひとこと要約

本稿では、事前に定義された変数の順序を必要とせずにスパースな逆分散共分散行列を推定するための新しい修正コレスキー分解手法を提案する。複数の変数順序の並べ替えにおける推定値を組み合わせ、スパarsityを強制するためのしきい値処理を適用することで、一貫性のある推定が達成され、シミュレーションおよび線形判別分析を用いた実データ分類タスクにおいて、既存の手法を上回る性能を発揮する。

ABSTRACT

The modified Cholesky decomposition is commonly used for inverse covariance matrix estimation given a specified order of random variables. However, the order of variables is often not available or cannot be pre-determined. Hence, we propose a novel estimator to address the variable order issue in the modified Cholesky decomposition to estimate the sparse inverse covariance matrix. The key idea is to effectively combine a set of estimates obtained from multiple permutations of variable orders, and to efficiently encourage the sparse structure for the resultant estimate by the use of thresholding technique on the combined Cholesky factor matrix. The consistent property of the proposed estimate is established under some weak regularity conditions. Simulation studies show the superior performance of the proposed method in comparison with several existing approaches. We also apply the proposed method into the linear discriminant analysis for analyzing real-data examples for classification.

研究の動機と目的

• 固定された変数順序を必要とする修正コレスキー分解の制限を解消すること。これは、しばしば未知であり、実用的に決定することが難しい場合がある。
• 事前に指定された変数順序に依存しない、スパースな逆分散共分散行列の一致推定量を開発すること。
• 変数順序のランダムな並べ替えから得られる複数のコレスキー推定値を組み合わせることで、推定精度とスパarsity構造を向上させること。
• 分類などの応用分野における高次元データの信頼性の高い逆分散共分散推定を可能とすること。

提案手法

• 複数のランダムな変数順序の並べ替えを生成し、個々の修正コレスキー分解推定値の集合を生成する。
• すべての並べ替えからのコレスキー因子行列を平均化または重み付き平均化戦略を用いて統合する。
• 統合されたコレスキー因子行列にしきい値処理を適用し、得られる逆分散共分散推定値におけるスパarsityを促進する。
• 弱い正則性条件の下で、最終推定量の理論的一致性を確立する。これにより、標本サイズが増加するにつれて収束が保証される。
• コレスキー分解の構造を活用し、正定値性の維持と計算効率を確保する。
• 最終推定量を線形判別分析に統合し、実データセットにおける分類タスクに応用する。

実験結果

リサーチクエスチョン

• RQ1 順序の平均化を用いたコレスキーに基づく手法は、固定された変数順序を必要とせずに一貫性のある逆分散共分散推定を達成できるか？
• RQ2 変数順序のランダムな並べ替えから得られる複数のコレスキー推定値を組み合わせることで、単一順序手法と比較してスパarsityと推定精度がどのように向上するか？
• RQ3 統合されたコレスキー因子にしきい値処理を適用することで、スパarsityがどの程度向上し、統計的一致性を保持できるか？
• RQ4 高次元設定において、本手法は既存の逆分散共分散推定手法と比較してどの程度の性能を発揮するか？
• RQ5 本手法の推定量は、線形判別分析のような下流の分類タスクに効果的に応用できるか？

主な発見

• 本手法は弱い正則性条件のもとで、逆分散共分散行列の一致推定を達成し、理論的信頼性を保証する。
• シミュレーション研究により、既存の手法と比較して推定精度およびスパarsity回復性能において優れた性能を示す。
• しきい値処理のステップにより、最終的な逆分散共分散推定値におけるスパarsityが効果的に促進され、高次元精度行列推定の目的と整合する。
• 実データに本手法を適用した際、線形判別分析において強い実験的性能を示し、分類精度が向上する。
• 順序の平均化戦略により、変数順序への感受性が効果的に軽減され、実用的においてもロバストであることが示された。