[논문 리뷰] Shrinkage and spectral filtering of correlation matrices: a comparison via the Kullback-Leibler distance

Michele Tumminello, Fabrizio Lillo외 1명|ArXiv.org|2007. 10. 02.

Bayesian Methods and Mixture Models참고 문헌 2인용 수 7

한 줄 요약

이 논문은 다변수 정규분포 및 비정규분포(스테ュ던트의 t분포) 가정 하에 Kullback-Leibler (KL) 거리 측도를 성능 평가 지표로 사용하여 상관계수 행렬에 대한 수축과 스펙트럼 필터링 방법을 비교한다. KL 거리가 필터링 정확도 평가에 효과적임을 보이며, 분리 가능한 시스템에서는 Random Matrix Theory를 통한 스펙트럼 필터링이 계층적 군집화보다 우수하고, 수축 방법은 비정규 데이터에서 최대우도추정량을 사용할 경우 특히 효과적임을 확인한다.

ABSTRACT

The problem of filtering information from large correlation matrices is of great importance in many applications. We have recently proposed the use of the Kullback-Leibler distance to measure the performance of filtering algorithms in recovering the underlying correlation matrix when the variables are described by a multivariate Gaussian distribution. Here we use the Kullback-Leibler distance to investigate the performance of filtering methods based on Random Matrix Theory and on the shrinkage technique. We also present some results on the application of the Kullback-Leibler distance to multivariate data which are non Gaussian distributed.

연구 동기 및 목표

• 수축과 스펙트럼 필터링을 포함한 상관계수 행렬 필터링 기법의 성능을 Kullback-Leibler (KL) 거리 측도를 사용하여 평가하는 것.
• 다변수 정규분포 변수에 대해 유도된 KL 거리 결과가 비정규 데이터, 특히 다변수 스튜던트의 t분포에 대해서도 유효한지 평가하는 것.
• Random Matrix Theory (RMT) 기반 스펙트럼 필터링에서 유지할 적정 고유값 수를 결정하고, 이를 다른 필터링 전략과 비교하는 것.
• 비정규 데이터에서 KL 거리 계산에 있어 최대우도추정량(MLE)과 피어슨 추정량 간의 성능 차이를 조사하는 것.
• 고차원적이고 노이즈가 많은 상관계수 행렬에서 필터링 알고리즘의 성능 측도로서 KL 거리의 적용 범위를 확장하는 것.

제안 방법

• 진짜 상관계수 행렬과 추정 또는 필터링된 상관계수 행렬 간의 다변수 정규확률밀도 간의 Kullback-Leibler (KL) 거리를 사용하여 그 분산 정도를 정량화한다.
• 유한한 T개의 표본에서 유도된 Wishart 분포를 따르는 표본 상관계수 행렬을 고려하여, 랜덤 매트릭스 이론에서 유도된 기대 KL 거리의 해석적 표현을 적용한다.
• KL 거리 공식을 사용한다: $ K({\bf Σ}_1, {f Σ}_2) = \frac{1}{2}\left[\log{\left(\frac{|{{\bf\Sigma}_2}|}{|{{\bf\Sigma}_1}|}\right)} + \text{tr}\left({{\bf\Sigma}_2^{-1}{\bf\Sigma}_1}\right) - n\right] $, 여기서 $ \bf\Sigma $는 상관계수 행렬이다.
• 세 가지 방법을 사용하여 필터링 성능를 비교한다: Random Matrix Theory (RMT) 스펙트럼 필터링, 계층적 군집 기반 필터링, 수축 추정.
• 비정규 데이터의 경우, 다변수 스튜던트의 t분포 변수에 대해 피어슨 상관계수 추정량과 최대우도추정량(MLE)을 모두 사용하여 KL 거리를 계산한다.
• 스튜던트의 t분포 하에서 상관계수 행렬에 대한 순차적 MLE 업데이트 식을 유도하고 적용한다: $ \bar{C}_{ij} = \frac{n+\mu}{T} \sum_{t=1}^{T} \frac{x_i(t)x_j(t)}{\mu + \sum_{pq} x_p(t)({\bf\bar{C}}^{-1})_{pq} x_q(t)} $.

실험 결과

연구 질문

• RQ1 KL 거리가 진짜 상관 구조를 복원하는 데 있어 상관계수 행렬 필터링 기법의 정확도 평가 지표로 얼마나 효과적인가?
• RQ2 다변수 정규분포 변수에 대해 유도된 KL 거리 기반 성능 측도가 다변수 스튜던트의 t분포 변수와 같이 비정규 데이터에 적용될 때도 유효한가?
• RQ3 유한한 표본 조건 하에서 RMT를 통한 스펙트럼 필터링, 계층적 군집 기반 필터링, 수축 추정 중 어느 방법이 진짜 상관계수 행렬에 가장 낮은 KL 거리를 갖는가?
• RQ4 비정규 설정에서 상관계수 추정량 선택(피어슨 대 최대우도추정량)이 KL 거리에 어떤 영향을 미치는가?
• RQ5 스펙트럼 필터링에서 유지할 적정 고유값 수는 무엇이며, RMT 예측과 비교해보면 어떻게 되는가?

주요 결과

• 다변수 정규분포 가정 하에서 진짜 상관계수 행렬과 표본 상관계수 행렬 간의 기대 KL 거리는 해석적으로 유도되었으며, 이는 실험 결과와 일치하여 KL 거리가 신뢰할 수 있는 성능 측도로 사용될 수 있음을 검증한다.
• 다변수 스튜던트의 t분포 데이터의 경우, 피어슨 추정량을 사용한 KL 거리는 정규분포에 대한 이론적 기대치를 크게 초과하며, 이는 기존 추정량이 비최적임을 시사한다.
• 스튜던트의 t분포 데이터에 대해 최대우도추정량(MLE)을 사용할 경우, 진짜 상관계수 행렬과 추정된 상관계수 행렬 간의 KL 거리는 이론적 정규분포 예측과 매우 유사하게 나타나, MLE가 KL 기반 측도의 유효성을 복원함을 나타낸다.
• Random Matrix Theory (RMT) 기반 스펙트럼 필터링은 KL 거리를 최소화하는 데 있어 최적의 성능을 보이며, 유지할 고유값 수가 RMT 예측과 매우 유사하게 나타난다.
• 수축 추정은 KL 거리를 크게 감소시키는 데 매우 효과적이지만, 프로베니우스 노름 최소화를 통해 유도된 최적의 수축 강도는 KL 거리 측도로 평가했을 때는 비최적임을 확인하였다.
• 강한 계층적 상관관계를 가진 시스템에서는 계층적 군집 기반 필터링이 스펙트럼 필터링보다 우수하며, 반면 분리 가능한(블록 대각형) 시스템에서는 스펙트럼 필터링이 뛰어난 성능을 보인다.