[論文レビュー] Shrinkage and spectral filtering of correlation matrices: a comparison via the Kullback-Leibler distance

Michele Tumminello, Fabrizio Lillo+1 more|ArXiv.org|Oct 2, 2007

Bayesian Methods and Mixture Models参考文献 2被引用数 7

ひとこと要約

本稿では、多変量正規分布および非正規分布（スチューデントのt分布）の仮定の下で、相関行列の正則化法とスペクトルフィルタリング法を、Kullback-Leibler (KL) 距離を性能指標として比較する。KL距離がフィルタリング精度の評価に有効であることが示され、分離可能な系ではRMTに基づくスペクトルフィルタリングが階層的クラスタリングを上回り、正則化法は特に非正規データに対して最尤推定法を用いることで顕著に効果的であることが判明した。

ABSTRACT

The problem of filtering information from large correlation matrices is of great importance in many applications. We have recently proposed the use of the Kullback-Leibler distance to measure the performance of filtering algorithms in recovering the underlying correlation matrix when the variables are described by a multivariate Gaussian distribution. Here we use the Kullback-Leibler distance to investigate the performance of filtering methods based on Random Matrix Theory and on the shrinkage technique. We also present some results on the application of the Kullback-Leibler distance to multivariate data which are non Gaussian distributed.

研究の動機と目的

• 相関行列のフィルタリング手法（特に正則化とスペクトルフィルタリング）の性能を、Kullback-Leibler (KL) 距離を指標として評価すること。
• 正規分布変数に対して導出されたKL距離の結果が、非正規データ（特に多変量スチューデントのt分布）に対しても有効であるかどうかを評価すること。
• Random Matrix Theory (RMT) に基づくスペクトルフィルタリングにおける固有値の最適な保持数を特定し、他のフィルタリング戦略と比較すること。
• 非正規データにおけるKL距離計算において、ピアソン推定子と最尤推定子（MLE）の選択がどのように影響するかを調査すること。
• 高次元でノイズの多い相関行列におけるフィルタリングアルゴリズムの性能指標として、KL距離の適用範囲を拡張すること。

提案手法

• 多変量正規分布の確率密度間のKullback-Leibler (KL) 距離を用いて、真の相関行列と推定またはフィルタリングされた相関行列との乖離を定量化する。
• 有限のTサンプルによるn変数のWishart分布に従う標本相関行列を含む、期待KL距離の解析的表現を、確率的行列理論から導出する。
• KL距離の公式を用いる：$ K({\bf Σ}_1, {\bf Σ}_2) = \frac{1}{2}\left[\log{\left(\frac{|{{\bf\Sigma}_2}|}{|{{\bf\Sigma}_1}|}\right)} + \text{tr}\left({{\bf\Sigma}_2^{-1}{\bf\Sigma}_1}\right) - n\right] $、ここで$ \bf\Sigma $ は相関行列を表す。
• 3つの手法を用いてフィルタリング性能を比較する：Random Matrix Theory (RMT) に基づくスペクトルフィルタリング、階層的クラスタリングを用いたフィルタリング、正則化推定。
• 非正規データに対しては、ピアソン相関推定子と多変量スチューデントのt分布に従う変数に対する最尤推定子（MLE）の両方を用いてKL距離を計算する。
• スチューデントのt分布下での相関行列に対する再帰的MLE更新式を導出し適用する：$ \bar{C}_{ij} = \frac{n+\mu}{T} \sum_{t=1}^{T} \frac{x_i(t)x_j(t)}{\mu + \sum_{pq} x_p(t)({\bf\bar{C}}^{-1})_{pq} x_q(t)} $。

実験結果

リサーチクエスチョン

• RQ1 真の相関構造を回復するための相関行列フィルタリング手法の精度を評価する指標として、Kullback-Leibler距離はどの程度有効であるか？
• RQ2 正規分布変数に対して導出されたKL距離に基づく性能指標が、多変量スチューデントのt分布に従う非正規データに対しても有効であるか？
• RQ3 有限サンプル条件下で、RMTに基づくスペクトルフィルタリング、階層的クラスタリング、正則化のいずれの手法が真の相関行列とのKL距離を最小にするか？
• RQ4 非正規設定下で、相関推定子の選択（ピアソン対最尤推定子）がKL距離にどのように影響するか？
• RQ5 スペクトルフィルタリングにおける固有値の最適保持数は何か？ また、RMTの予測と比較するとどうなるか？

主な発見

• 正規分布仮定下での真の相関行列と標本相関行列間の期待KL距離が解析的に導出され、実験結果とも一致した。これにより、KL距離が信頼できる性能指標として使用可能であることが裏付けられた。
• 多変量スチューデントのt分布に従うデータに対しては、ピアソン推定子を用いて計算されたKL距離が、正規分布の理論的期待値を著しく上回り、標準推定子が非効率であることが示された。
• スチューデントのt分布に従うデータに対して最尤推定子（MLE）を用いる場合、真の相関行列と推定相関行列とのKL距離が、理論的正規予測と極めて近接した値を示した。これはMLEがKLに基づく指標の有効性を回復していることを示唆する。
• Random Matrix Theory (RMT) に基づくスペクトルフィルタリングは、KL距離を最小化する観点で最適な性能を示し、保持すべき固有値の最適数がRMTの予測とよく一致した。
• 正則化推定はKL距離を著しく低減するが、Frobeniusノルム最小化によって導出された最適な正則化強度は、KL距離指標で評価すると非効率であることが判明した。
• 強い階層的相関構造を示す系では、階層的クラスタリングによるフィルタリングがスペクトルフィルタリングを上回る性能を示したが、分離可能な（ブロック対角型の）系ではスペクトルフィルタリングが優れた性能を発揮した。