[논문 리뷰] Community detection for correlation matrices

Mel MacMahon, Diego Garlaschelli|RePEc: Research Papers in Economics|2013. 11. 08.

Complex Network Analysis Techniques인용 수 5

한 줄 요약

이 논문은 복잡한 시스템에서 상관행렬에 대한 내부적으로 관련된, 상호 반대 상관관계를 가지는 커뮤니티를 일관적으로 식별할 수 있도록, 무작위 행렬 이론을 활용해 근본 모델을 재정의함으로써 상관행렬을 위한 새로운 커뮤니티 탐지 프레임워크를 제안한다. 이 방법은 스펙트럼 기반 커뮤니티 탐지 기법을 상관 데이터에 적응시켜 단위별 노이즈와 시스템 전반의 종속성 양쪽을 걸러내며, 금융 시계열 자료에서 경계가 뚜렷한 딱단 핵심과 부드러운 외곽을 지닌 계층적이고 다중 주파수 구조를 드러낸다.

ABSTRACT

A challenging problem in the study of complex systems is that of resolving, without prior information, the emergent, mesoscopic organization determined by groups of units whose dynamical activity is more strongly correlated internally than with the rest of the system. The existing techniques to filter correlations are not explicitly oriented towards identifying such modules and can suffer from an unavoidable information loss. A promising alternative is that of employing community detection techniques developed in network theory. Unfortunately, this approach has focused predominantly on replacing network data with correlation matrices, a procedure that tends to be intrinsically biased due to its inconsistency with the null hypotheses underlying the existing algorithms. Here we introduce, via a consistent redefinition of null models based on random matrix theory, the appropriate correlation-based counterparts of the most popular community detection techniques. Our methods can filter out both unit-specific noise and system-wide dependencies, and the resulting communities are internally correlated and mutually anti-correlated. We also implement multiresolution and multifrequency approaches revealing hierarchically nested sub-communities with `hard' cores and `soft' peripheries. We apply our techniques to several financial time series and identify mesoscopic groups of stocks which are irreducible to a standard, sectorial taxonomy, detect `soft stocks' that alternate between communities, and discuss implications for portfolio optimization and risk management.

연구 동기 및 목표

• 상관행렬에서 사전 정보 없이 복잡한 시스템의 메시오스코픽 모듈러 조직을 식별하는 데 도전하는 것.
• 정보 손실과 임의의 임계값으로 인해 제한되는 기존 필터링 기법의 한계를 극복하는 것.
• 무작위 행렬 이론에 기반한 근본 모델을 재정의함으로써 상관행렬에 대한 일관된 커뮤니티 탐지 프레임워크를 개발하는 것.
• 시간 시리즈 자료에서 내부적으로 관련된 커뮤니티와 상호 반대 상관관계를 가지는 커뮤니티를 탐지할 수 있도록 하는 것.
• 실세계 시스템에서 경계가 뚜렷한 딱단 핵심과 부드러운 외곽을 지닌 계층적이고 다중 주파수 커뮤니티 구조를 드러내는 것.

제안 방법

• 상관행렬의 통계적 성질과 일관성을 확보하기 위해, 커뮤니티 탐지에 대한 근본 모델을 무작위 행렬 이론을 활용해 재정의한다.
• 세 가지의 서로 다른 근본 모델을 사용해 필터링된 상관행렬에서 상관기반 모듈래리티 행렬 $\mathbf{C}^{(l)}$ 를 구성함으로써 스펙트럼 기반 커뮤니티 탐지 기법을 적응시킨다.
• 모듈래리티 행렬 $\mathbf{C}^{(l)}$ 의 고유분해를 수행하여 주요 고유벡터를 식별하고, 그 부호 패턴을 기반으로 커뮤니티 분할을 정의한다.
• 하위행렬의 최대 고유값을 활용한 반복적 이분법을 적용하여, 더 이상 모듈래리티 향상이 없을 때까지 커뮤니티를 반복적으로 정밀화한다.
• 다중 해상도 및 다중 주파수 접근법을 도입하여 안정성 수준이 다른 계층적으로 내장된 하위커뮤니티를 탐지한다.
• 행의 합이 0이 아닌 상관기반 행렬을 고려하여 알고리즘의 일관성을 보장하는 정규화된 모듈래리티 함수 $Q_l(\vec{s})$ 를 사용한다.

실험 결과

연구 질문

• RQ1 비일관된 근본 가설로 인한 편향 없이, 상관행렬에 대해 커뮤니티 탐지 기법을 어떻게 일관되게 적용할 수 있는가?
• RQ2 단위별 노이즈와 시스템 전반의 종속성을 모두 고려할 수 있는 상관기반 커뮤니티 탐지에 적합한 근본 모델은 무엇인가?
• RQ3 네트워크 이론에서 유도된 스펙트럼 기법을 상관행렬에 적용함으로써 계층적이고 다중 주파수 커뮤니티 구조를 드러낼 수 있는가?
• RQ4 탐지된 커뮤니티는 금융 시장에서의 표준 산업 부문 분류와 어떻게 다를까?
• RQ5 커뮤니티를 오가는 '부드러운 스톡스'(soft stocks)는 어떤 역할을 하며, 포트폴리오 리스크에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 표준 산업 부문 분류로는 기술할 수 없는 금융 시계열 자료에서 메시오스코픽 커뮤니티를 성공적으로 식별한다.
• 탐지된 커뮤니티는 내부적으로 관련되어 있으며 상호 반대 상관관계를 가지며, 단순한 산업 그룹화를 뛰어넘는 비트리비얼한 모듈러 구조를 나타낸다.
• 이 방법은 '딱단 핵심'으로서 안정적이고 강하게 관련된 주식 집단과 '부드러운 외곽'으로서 변동성이 크고 커뮤니티 간을 오가는 주식 집단을 지닌 계층적 하위커뮤니티를 드러낸다.
• 스펙트럼 알고리즘은 비제로 행 합을 고려한 정규화된 모듈래리티 함수를 최대화함으로써 최적의 분할을 일관되게 식별한다.
• 다중 해상도 및 다중 주파수 분석을 통해 내장된 커뮤니티 구조를 밝혀내며, 금융 시장 조직의 다이나믹한 전이와 강건성을 강조한다.
• 이 프레임워크는 자산의 동적이고 반대 상관관계를 가지는 그룹을 식별함으로써 포트폴리오 최적화 및 리스크 관리 향상에 기여한다.