[论文解读] Community detection for correlation matrices

Mel MacMahon, Diego Garlaschelli|RePEc: Research Papers in Economics|Nov 8, 2013

Complex Network Analysis Techniques被引用 5

一句话总结

本文提出了一种基于随机矩阵理论重新定义零模型的新型社区检测框架，用于相关性矩阵，实现了在复杂系统中一致识别内部相关和相互反相关的社区。该方法将谱社区检测适配于相关性数据，同时过滤个体特异性噪声与系统性依赖关系，揭示了金融时间序列中具有硬核与软边缘的分层多频结构。

ABSTRACT

A challenging problem in the study of complex systems is that of resolving, without prior information, the emergent, mesoscopic organization determined by groups of units whose dynamical activity is more strongly correlated internally than with the rest of the system. The existing techniques to filter correlations are not explicitly oriented towards identifying such modules and can suffer from an unavoidable information loss. A promising alternative is that of employing community detection techniques developed in network theory. Unfortunately, this approach has focused predominantly on replacing network data with correlation matrices, a procedure that tends to be intrinsically biased due to its inconsistency with the null hypotheses underlying the existing algorithms. Here we introduce, via a consistent redefinition of null models based on random matrix theory, the appropriate correlation-based counterparts of the most popular community detection techniques. Our methods can filter out both unit-specific noise and system-wide dependencies, and the resulting communities are internally correlated and mutually anti-correlated. We also implement multiresolution and multifrequency approaches revealing hierarchically nested sub-communities with `hard' cores and `soft' peripheries. We apply our techniques to several financial time series and identify mesoscopic groups of stocks which are irreducible to a standard, sectorial taxonomy, detect `soft stocks' that alternate between communities, and discuss implications for portfolio optimization and risk management.

研究动机与目标

• 解决从相关性矩阵中识别复杂系统中观模块化结构而无需先验信息的挑战。
• 克服现有滤波技术因信息损失和任意阈值导致的局限性。
• 通过基于随机矩阵理论重新定义零模型，为相关性矩阵开发一致的社区检测框架。
• 实现时间序列数据中内部相关与相互反相关社区的检测。
• 揭示现实系统中具有明显硬核与软边缘的分层多频社区结构。

提出的方法

• 利用随机矩阵理论重新定义社区检测的零模型，确保与相关性矩阵的统计特性一致。
• 通过三种不同的零模型，从滤波后的相关性矩阵构建基于相关性的模块度矩阵 $\mathbf{C}^{(l)}$，并适配谱社区检测方法。
• 对模块度矩阵 $\mathbf{C}^{(l)}$ 进行特征分解，识别主特征向量，其符号模式定义社区划分。
• 通过子矩阵最大特征值的递归二等分法，迭代优化社区，直至无法获得进一步模块度增益。
• 引入多分辨率与多频方法，检测具有不同稳定程度的分层嵌套子社区。
• 使用归一化的模块度函数 $Q_l(\vec{s})$，考虑基于相关性的矩阵中非零行和，确保算法一致性。

实验结果

研究问题

• RQ1 如何在不引入不一致零假设偏差的情况下，将社区检测一致地应用于相关性矩阵？
• RQ2 何种零模型适用于基于相关性的社区检测，以同时考虑个体特异性噪声与系统性依赖？
• RQ3 能否通过从网络理论适配的谱方法，在相关性矩阵中揭示分层多频社区结构？
• RQ4 所检测到的社区与金融市场的标准行业分类有何不同？
• RQ5 在社区间交替的“软股票”起什么作用，以及它们如何影响投资组合风险？

主要发现

• 所提出的方法成功识别出金融时间序列中的中观社区，这些社区无法简化为标准的工业行业分类。
• 检测到的社区在内部具有相关性，且彼此间呈反相关，表明存在超越简单行业分组的非平凡模块化结构。
• 该方法揭示了具有稳定强相关股票“硬核”与波动性高、跨社区流动的“软边缘”的分层子社区。
• 谱算法通过最大化考虑非零矩阵行和的归一化模块度函数，一致地识别出最优划分。
• 多分辨率与多频分析揭示了嵌套的社区结构，凸显了金融市场组织中的动态转变与鲁棒性。
• 该框架通过识别资产的动态反相关分组，实现了改进的投资组合优化与风险管理。