[논문 리뷰] Hierarchical Clustering Using Mutual Information

Alexander Kraskov, Harald Stoegbauer외 2명|ArXiv.org|2003. 11. 27.

Fractal and DNA sequence analysis인용 수 6

한 줄 요약

이 논문은 상호정보량(MI)을 유사도 측정치로 사용하는 계층적 군집화 방법인 상호정보량 군집화(MIC) 알고리즘을 소개한다. 이 알고리즘은 MI의 군집화 성질을 활용해 반복적으로 군집을 병합하며, 선형 상관관계를 넘어서 비선형 의존성을 포착함으로써 전통적 방법보다 뛰어난 성능을 보이며, ICA 출력물로부터 태반 및 어머니의 심전도 성분을 성공적으로 재구성하고 미토콘드리아 DNA 서열로부터 계통수 관계를 추론한다.

ABSTRACT

We present a method for hierarchical clustering of data called {\it mutual information clustering} (MIC) algorithm. It uses mutual information (MI) as a similarity measure and exploits its grouping property: The MI between three objects $X, Y,$ and $Z$ is equal to the sum of the MI between $X$ and $Y$, plus the MI between $Z$ and the combined object $(XY)$. We use this both in the Shannon (probabilistic) version of information theory and in the Kolmogorov (algorithmic) version. We apply our method to the construction of phylogenetic trees from mitochondrial DNA sequences and to the output of independent components analysis (ICA) as illustrated with the ECG of a pregnant woman.

연구 동기 및 목표

• 선형 상관관계를 넘어서 비선형 의존성을 포착할 수 있는 계층적 군집화 방법을 개발한다.
• 상호정보량(MI)의 군집화 성질을 활용해 반복적으로 군집을 병합하는 원리적인 접근법을 구현한다.
• 심전도 및 미토콘드리아 DNA를 포함한 실제 생물학적 및 생리학적 데이터에 기반한 MI 기반 군집화를 적용한다.
• MI 기반 군집화가 복잡한 의존성을 탐지하는 데 있어 상관관계 기반 방법보다 뛰어나다는 것을 입증한다.
• 독립성 성분 분석(ICA) 출력물과 계통수 데이터에 대해 이 방법을 검증하여 강건성과 해석 가능성의 가능성을 보여준다.

제안 방법

• MIC 알고리즘은 데이터 포인트 또는 군집 간의 유사도 측정치로 쌍별 상호정보량(MI)을 사용한다.
• 그룹화 성질에 기반해 상호정보량이 가장 높은 두 군집을 반복적으로 병합한다: I(X,Y,Z) = I(X,Y) + I((X,Y),Z).
• 연속 변수에 대해 비모수적 추정기법을 사용하여 MI를 추정하며, 미분 엔트로피를 근사하기 위해 구간화를 적용한다.
• 각 단계에서 병합된 군집을 제거하고 나머지 군집들과의 MI 값이 포함된 새로운 군집을 추가함으로써 유사도 행렬을 갱신한다.
• 지속적인 병합 과정을 통해 분기 높이가 병합된 군집 간의 MI를 반영하는 계층적 계통수를 구축한다.
• 최종 군집을 추출하기 위해 컷오프 임계치(예: 0.1 nats)를 적용하며, 이는 어머니와 태아의 심전도 성분을 분리하는 데 활용된다.

실험 결과

연구 질문

• RQ1 비선형 의존성이 존재할 경우 상호정보량이 계층적 군집화에 있어 강건하고 유의미한 유사도 측정치로 기능할 수 있는가?
• RQ2 상호정보량의 군집화 성질이 원리적인 접근법과 반복적인 군집 병합을 가능하게 하는가?
• RQ3 MIC가 ICA를 통해 복원된 성분들로부터 어머니와 태아의 심전도 신호를 효과적으로 분리할 수 있는가?
• RQ4 전통적 방법과 비교해 미토콘드리아 DNA 서열에서의 계통수 재구성에 대해 MIC의 성능은 어떠한가?
• RQ5 이 방법은 게놈학 및 전기생리학을 포함한 다양한 생물학적 데이터 유형으로 일반화될 수 있는가?

주요 결과

• MIC 알고리즘은 ICA 성분에서 두 개의 주요 군집을 성공적으로 식별하였으며, 어머니의 심전도가 지배적인 군집(MI ≈ 1.44 nats)과 태아의 심전도가 지배적인 군집(MI ≈ 0.3 nats)으로 나뉘었다.
• 군집 간 MI에 대해 0.1 nats의 임계치를 적용함으로써, 알고리즘은 어머니와 태아의 심전도 성분을 정확히 분리하여 군집 데이터로부터 깔끔한 태아 심전도 재구성을 가능하게 하였다.
• 계통수는 어머니와 아이에 해당하는 두 개의 명확한 군집을 보였으며, 소규모 군집은 잡음으로 해석되어 생물학적으로 의미 있는 군집화를 탐지할 수 있음을 확인하였다.
• 상호정보량의 군집화 성질 덕분에 일관된 계층적 구조를 확보하였으며, MI 값 추정 오차로 인한 미세한 오류 외에는 거의 영향을 받지 않았다.
• MIC는 계통수 구축과 심전도 신호 분리 양쪽 모두에서 뛰어난 성능을 보이며, 다양한 분야에 광범위하게 적용 가능함을 시사한다.
• 현대 비모수적 추정 기법을 통해 개선된 MI 추정은 특히 데이터 크기가 증가하거나 계통수 분석에 더 많은 종을 포함할 경우 MIC의 정확도를 향상시킨다.