[論文レビュー] Cleaning large correlation matrices: tools from random matrix theory

Joël Bun, Jean‐Philippe Bouchaud+1 more|RePEc: Research Papers in Economics|Oct 25, 2016

Random Matrices and Applications被引用数 5

ひとこと要約

この論文は、ランダム行列理論（RMT）を用いて大規模な相関行列をクリーニングするフレームワークを提示する。スペクトル統計と固有ベクトルの変形に注目し、最適な回転不変推定器（RIE）の構築を目的としている。マルチェンコ＝パストル方程式やレプリカ法といった解析的手法を導出し、真の信号とノイズを区別する。提案されたRIEは、サンプル数が限られる高次元設定において、既存の手法と比較して著しく優れていることが示された。

ABSTRACT

This review covers recent results concerning the estimation of large covariance matrices using tools from Random Matrix Theory (RMT). We introduce several RMT methods and analytical techniques, such as the Replica formalism and Free Probability, with an emphasis on the Marchenko-Pastur equation that provides information on the resolvent of multiplicatively corrupted noisy matrices. Special care is devoted to the statistics of the eigenvectors of the empirical correlation matrix, which turn out to be crucial for many applications. We show in particular how these results can be used to build consistent "Rotationally Invariant" estimators (RIE) for large correlation matrices when there is no prior on the structure of the underlying process. The last part of this review is dedicated to some real-world applications within financial markets as a case in point. We establish empirically the efficacy of the RIE framework, which is found to be superior in this case to all previously proposed methods. The case of additively (rather than multiplicatively) corrupted noisy matrices is also dealt with in a special Appendix. Several open problems and interesting technical developments are discussed throughout the paper.

研究の動機と目的

• 変数の数がサンプル数を上回る状況において、大規模共分散行列を推定する堅牢な手法を開発すること。
• 高次元データにおいて、真の相関構造とランダムノイズを区別する課題に取り組むこと。
• 元のプロセスに関する最小限の仮定の下で最適な回転不変推定器（RIE）を構築すること。
• 実際の金融データにこのフレームワークを適用・検証し、既存手法よりも優れた性能を示すこと。

提案手法

• サンプル共分散行列の固有値スペクトルのバルクを特徴付けるために、マルチェンコ＝パストル方程式を用いる。
• レプリカトリックと自由確率論を適用し、乗法的ノイズが加わった行列のリゾルベントを導出し、スペクトル統計を分析する。
• ノイズ下での固有ベクトルの重なりと変形に関する解析的表現を導出し、信号固有ベクトルの一貫した推定を可能にする。
• 理論的バルクと外れ値構造に基づいて固有値をクリーニングする最適なRIEを提案し、トレースの一貫性を保証する。
• 共役および回転不変事前分布を用いたベイズ推論により、モデルの不確実性下での最適推定器を導出する。
• 金融データに対する実証的検証を通じて、線形シャーリングや他の正則化手法よりも高い精度を示した。

実験結果

リサーチクエスチョン

• RQ1 大規模でノイズの多い相関行列において、真の固有値と偽の固有値を信頼性を持って区別する方法は何か？
• RQ2 サンプルサイズが変数の数を下回る状況で、共分散行列を最適に推定する方法は何か？
• RQ3 サンプル相関行列の固有ベクトルはノイズの影響をどのように受けるか？ その変形を推定の改善にどう応用できるか？
• RQ4 信号構造に関する事前仮定なしに、最適な回転不変推定器を導出できるか？
• RQ5 変数の数がサンプルサイズを上回る場合、既存の正則化手法の限界は何か？

主な発見

• 最適なRIEフレームワークは、金融共分散行列推定において、以前に提案されたあらゆる手法を著しく上回った。
• N > T であっても、マルチェンコ＝パストル法則を用いてスペクトルのバルクを正しく特定・クリーニングできた。
• レプリカ法から導かれた固有ベクトルの重なりを用いることで、信号成分の一貫した推定が可能となり、再構成精度が向上した。
• RIEフレームワークはトレースの一貫性を維持し、ゼロモードの過大評価を回避した。これは、標準的な正則化手法とは対照的であった。
• q > 1 の領域（N > T）において、既存手法の限界を特定し、原理的かつ整合的な解決策を提示した。
• 実際の金融データを用いた検証により、フレームワークの頑健性と、アウトオブサンプルリスク推定における優れた性能が示された。