[論文レビュー] Unbiased community detection for correlation matrices

Mel MacMahon, Diego Garlaschelli|arXiv (Cornell University)|Nov 8, 2013

Complex Network Analysis Techniques被引用数 5

ひとこと要約

本稿では、ランダム行列理論を用いてnullモデルを再定義することで、相関行列に対する偏りのないコミュニティ検出フレームワークを提案する。これにより、複雑系におけるミクロスコピックなグループの正確な同定が可能になる。本手法は、ユニット固有のノイズとシステム全体の依存性の両方をフィルタリングし、内部的に相関のある、互いに逆相関を示す階層的構造を持つコミュニティを明らかにする。実際の金融時系列データに適用することで、非セクター分類の株式グループと動的な「ソフト株式」を同定した。

ABSTRACT

A challenging problem in the study of complex systems is that of resolving, without prior information, the emergent, mesoscopic organization determined by groups of units whose dynamical activity is more strongly correlated internally than with the rest of the system. The existing techniques to filter correlations are not explicitly oriented towards identifying such modules and can suffer from an unavoidable information loss. A promising alternative is that of employing community detection techniques developed in network theory. Unfortunately, this approach has focused predominantly on replacing network data with correlation matrices, a procedure that tends to be intrinsically biased due to its inconsistency with the null hypotheses underlying the existing algorithms. Here we introduce, via a consistent redefinition of null models based on random matrix theory, the appropriate correlation-based counterparts of the most popular community detection techniques. Our methods can filter out both unit-specific noise and system-wide dependencies, and the resulting communities are internally correlated and mutually anti-correlated. We also implement multiresolution and multifrequency approaches revealing hierarchically nested sub-communities with `hard' cores and `soft' peripheries. We apply our techniques to several financial time series and identify mesoscopic groups of stocks which are irreducible to a standard, sectorial taxonomy, detect `soft stocks' that alternate between communities, and discuss implications for portfolio optimization and risk management.

研究の動機と目的

• 相関行列に適用された既存のコミュニティ検出手法に生じるバイアスを解消すること。その原因は、一貫性のない帰無仮説に起因する。
• ランダム行列理論から導かれるnullモデルと整合的な、相関に基づくコミュニティ検出手法の開発。
• 相関行列に内在するユニット固有のノイズとシステム全体の依存性をフィルタリングし、意味のあるミクロスコピック構造を明らかにすること。
• 事前情報なしに、内部的に相関のあるコミュニティと互いに逆相関を示すコミュニティを同定すること。
• マルチスケールおよびマルチ周波数解析を可能にし、『ハードコア』と『ソフトエッジ』を持つ階層的にネストされたサブコミュニティを同定すること。

提案手法

• ランダム行列理論を用いて、相関行列の統計的性質と整合するように、コミュニティ検出のためのnullモデルを再定義する。
• 代表的なコミュニティ検出アルゴリズム（例：モジュラリティベースの手法）を、新しいnullモデルと統合し、相関行列上で直接動作可能にする。
• 複数スケールのアプローチを適用し、さまざまな解像度でコミュニティを検出することで、階層的サブ構造を明らかにする。
• 複数周波数の解析を実装し、異なる時間スケールでのコミュニティダイナミクスを調査する。
• 得られたコミュニティ構造を用いて、『ハードコア』株式（安定した所属）と『ソフトエッジ』株式（動的な所属）を区別する。
• 統計的整合性のチェックを実施し、検出されたコミュニティがランダムノイズやシステム的相関の産物でないことを保証する。

実験結果

リサーチクエスチョン

• RQ1 複雑系から得られる相関行列に適用した場合、コミュニティ検出をどのようにしてバイアスのないものにできるか？
• RQ2 相関行列の統計的性質と整合的であり、信頼性の高いコミュニティ検出を可能にするnullモデルは何か？
• RQ3 マルチスケールおよびマルチ周波数解析により、相関に基づくネットワークにおける階層的にネストされたコミュニティ構造を同定できるか？
• RQ4 検出されたコミュニティは、ミクロスコピック組織の期待通りに内部相関および相互逆相関を示すか？
• RQ5 金融データにおける同定されたコミュニティは、標準的なセクター分類からどの程度逸脱しているか？

主な発見

• 提案手法は、標準的なセクター分類に還元できない、非自明な組織的構造を持つ株式のミクロスコピックグループを効果的に同定した。
• フレームワークは、コミュニティを頻繁に変更する「ソフト株式」を検出でき、一時的または曖昧な所属関係を示した。
• コミュニティは内部的に相関しており、互いに逆相関を示しており、一貫性のあるミクロスケール組織の存在を裏付けた。
• マルチスケールおよびマルチ周波数アプローチにより、明確な『ハードコア』と『ソフトエッジ』を持つ階層的ネスト構造のサブコミュニティが明らかになった。
• 本手法は、ユニット固有のノイズとシステム全体の依存性の両方を効果的にフィルタリングし、検出の信頼性を向上させた。
• 金融時系列データへの応用により、隠れたシステム的構造を同定できることから、ポートフォリオ最適化やリスク管理における実用的意義が示された。