[논문 리뷰] Hierarchical Clustering Based on Mutual Information

Alexander Kraskov, Harald Stögbauer외 2명|ArXiv.org|2003. 11. 28.

Fractal and DNA sequence analysis참고 문헌 10인용 수 99

한 줄 요약

이 논문은 상호정보량(MI)을 유사도 측정치로 사용하는 계층적 군집화 방법인 상호정보량 군집화(MIC) 알고리즘을 소개한다. 이 알고리즘은 MI의 군집 성질을 활용하여 반복적으로 군집을 병합하며, 고도로 정제된 MI 추정이 가능할 경우 다양한 생물학적 데이터 유형에 대해 전통적 방법보다 뛰어난 성능을 보인다. 특히, ICA 출력에서 태반 심전도(ECG)를 재구성하고, 미토콘드리아 DNA에서 영양동물의 계통수를 추론하는 데 성공적으로 적용되었다.

ABSTRACT

Motivation: Clustering is a frequently used concept in variety of bioinformatical applications. We present a new method for hierarchical clustering of data called mutual information clustering (MIC) algorithm. It uses mutual information (MI) as a similarity measure and exploits its grouping property: The MI between three objects X, Y, and Z is equal to the sum of the MI between X and Y, plus the MI between Z and the combined object (XY). Results: We use this both in the Shannon (probabilistic) version of information theory, where the "objects" are probability distributions represented by random samples, and in the Kolmogorov (algorithmic) version, where the "objects" are symbol sequences. We apply our method to the construction of mammal phylogenetic trees from mitochondrial DNA sequences and we reconstruct the fetal ECG from the output of independent components analysis (ICA) applied to the ECG of a pregnant woman. Availability: The programs for estimation of MI and for clustering (probabilistic version) are available at http://www.fz-juelich.de/nic/cs/software

연구 동기 및 목표

• 상호정보량(MI)을 유사도 측정치로 사용하는 계층적 군집화 방법을 개발하여, 그 군집 성질을 활용해 더 정확한 군집 형성 가능성을 확보한다.
• 이 방법을 두 가지 다른 생물학적 문제에 적용한다: ICA 출력에서 태반 심전도를 재구성하고, 미토콘드리아 DNA에서 영양동물의 계통수를 구성한다.
• 확률론적(샤논) 및 알고리즘적(코모고로프) 정보이론 프레임워크에서 MI 기반 군집화의 효과성을 입증한다.
• 특히 고차원 또는 노이즈가 많은 데이터에서, MI의 적절한 정규화가 신뢰할 수 있는 군집화를 위해 필수적임을 보여준다.

제안 방법

• MIC 알고리즘은 개별 객체 간의 상호정보량을 기반으로 한 유사도 행렬을 계산하며, 각 객체를 랜덤 변수 또는 기호 시퀀스로 간주한다.
• 군집의 군집 성질을 활용하여 두 개의 가장 유사한 군집을 반복적으로 병합한다: I(X,Y,Z) = I(X,Y) + I((X,Y),Z), 이는 일관된 계층적 분해를 보장한다.
• 각 병합 단계에서, 새로운 복합 군집과 나머지 모든 군집 간의 유사도는 복합 군집과의 상호정보량을 통해 계산된다.
• 이 알고리즘은 덴드로그램을 사용하며, 각 병합의 높이는 결과 군집의 상호정보량에 해당하여, 군집의 시각적 및 정량적 평가를 가능하게 한다.
• 확률론적 MI 추정을 위해, 크라스코프 등(2003)에서 개발한 저편향 및 저분산 비모수 추정기법을 활용한다.
• MI의 정규화를 적용하여 상대적 유사도 측정치를 확보하며, 이는 고차원 또는 희소 데이터에서 왜곡을 방지하는 데 핵심적이다.

실험 결과

연구 질문

• RQ1 상호정보량은 다양한 생물학적 응용 분야에서 계층적 군집화에 원칙적이고 효과적인 유사도 측정치로 기능할 수 있는가?
• RQ2 상호정보량의 군집 성질은 기존의 연결 방법에 비해 더 정확하고 일관된 계층적 군집화 과정을 가능하게 하는가?
• RQ3 실제 생물학적 데이터(예: 심전도 신호 및 미토콘드리아 DNA 시퀀스)에 적용했을 때, MI 기반 군집화의 성능은 기존 표준 방법과 비교해 어떻게 되는가?
• RQ4 특히 고차원 또는 노이즈가 많은 환경에서, MIC 알고리즘의 정확도는 상호정보량 추정의 정밀도에 얼마나 의존하는가?

주요 결과

• MIC 알고리즘은 ICA 성분으로부터 태반 심전도를 성공적으로 재구성하였으며, 덴드로그램은 상호정보량 수준에 따라 모성과 태반 심전도 기여도를 명확히 분리하였다.
• 심전도 응용에서 채널 1–14는 약 1.43의 상호정보량을 보였고, 채널 6–8는 약 0.34의 값을 기록하여 별개의 신호 군집임을 시사하였다.
• 미토콘드리아 DNA 시퀀스를 기반으로 구성한 계통수는 생물학적으로 타당한 군집을 보였으며, 더 많은 종이 포함될수록 정확도가 향상될 것으로 기대된다.
• 소규모 불일치(예: 군집 (1–14)와 (15–18)를 포함한 병합에서)는 방법의 구조적 결함가 아니라, MI 추정 오차에서 기인한 것으로 분석되었다.
• 이 방법은 심장학과 유전체학이라는 매우 다른 분야에서 모두 강건한 성능을 보여, MI 기반 군집화의 광범위한 적용 가능성을 입증하였다.
• 적절한 MI 정규화가 특히 알고리즘 정보이론 프레임워크에서 신뢰할 수 있는 군집화를 위해 필수적임을 확인하였다.