[논문 리뷰] Info-Clustering: A Mathematical Theory for Data Clustering

Chung Chan, Ali Al-Bashabsheh외 3명|arXiv (Cornell University)|2016. 05. 04.

Complex Network Analysis Techniques참고 문헌 99인용 수 6

한 줄 요약

이 논문은 다변량 상호정보량을 기반으로 한 정보집합화(info-clustering)라는 새로운 정보이론적 프레임워크를 소개한다. 이는 샤논의 이변량 상호정보량을 다수의 랜덤 변수로 확장한 것으로, 복잡한 생물학적 시스템(예: 인간 게놈, 연결망)의 계층적 군집화를 가능하게 하며, 높은 상호정보량을 가지는 변수들을 그룹화함으로써 수학적으로 엄밀하고 계산적으로 실현 가능한 기존 군집화 방법의 대안을 제공한다. 이는 더 높은 해석 가능성과 대칭성 유지에 기여한다.

ABSTRACT

We formulate an info-clustering paradigm based on a multivariate information measure, called multivariate mutual information, that naturally extends Shannon's mutual information between two random variables to the multivariate case involving more than two random variables. With proper model reductions, we show that the paradigm can be applied to study the human genome and connectome in a more meaningful way than the conventional algorithmic approach. Not only can info-clustering provide justifications and refinements to some existing techniques, but it also inspires new computationally feasible solutions.

연구 동기 및 목표

• 다변량 정보이론에 기반한 엄밀한 수학적 군집화 프레임워크를 개발하는 것.
• 유전자 발현 및 신경 연결성과 같은 고차원 생물학적 데이터의 군집화 과제를 해결하기 위해, 이변량 관계를 초월한 상호의존성의 정량화를 통한 것.
• 유전체학 및 신경과학 분야에서 히وري스틱 군집화 방법의 원칙적인 대안을 제공하여, 기저의 통계적 의존성과 대칭성을 더 잘 존중하는 것.
• 기존 군집화 기법을 정당화하고 개선할 수 있는 방법의 능력을 입증함과 동시에, 새로운 계산 효율적인 알고리즘을 창출하는 것.
• 다변량 상호정보량에 기반한 임계값 기반 군집화를 통해 분할의 계층을 수립함으로써, 인간 게놈 및 연결망과 같은 복잡한 시스템의 확장 가능한 분석을 가능하게 하는 것.

제안 방법

• 다수의 랜덤 변수 간의 의존성을 측정하기 위한 핵심 정보이론적 척도로 다변량 상호정보량 측정법을 제안한다.
• 다양한 다변량 상호정보량 임계값을 조절하여 분할의 시퀀스를 생성하는 계층적 군집화 프레임워크를 도입한다.
• 군집화 목표를 모델링하기 위해 집합 함수의 딜워스 절단(Dilworth truncation)을 적용하여, 하위모듈성(submodularity)을 보장하고 효율적인 최적화를 가능하게 한다.
• 두 가지 최적화 공식화를 사용한다: 주된 분할 시퀀스(PSP)와 최소 평균 비용(MAC)으로, 둘 다 매개변수화된 하위모듈러 함수를 포함하는 일반화된 비용 함수에서 유도된다.
• 각 데이터 객체를 랜덤 변수로 간주하고, 높은 상호정보량을 가지는 부분집합을 군집화하는 '정보집합화' 개념을 활용하며, 상관관계의 대칭성을 유용하게 활용한다.
• 합성 및 생물학적 데이터를 대상으로 방법을 검증하여, 최적의 분할이 알려진 대칭성과 통계적 의존성(예: 상관 유전자 또는 신경세포 집단)을 잘 반영함을 보였다.

실험 결과

연구 질문

• RQ1 다변량 상호정보량은 어떻게 수학적으로 일관된 방식으로 샤논의 이변량 상호정보량을 다수의 변수로 일반화할 수 있는가?
• RQ2 다변량 상호정보량에 기반한 계층적 군집화 프레임워크는 복잡한 시스템에서 생물학적으로 의미 있는 군집화를 포괄하는 데 있어 기존 군집화 방법을 능가할 수 있는가?
• RQ3 주된 분할 시퀀스(PSP)와 최소 평균 비용(MAC)과 같은 다양한 최적화 기준은 군집 솔루션에서 대칭성과 통계적 구조를 얼마나 잘 유지하는가?
• RQ4 정보집합화는 유전체학 및 연결망학에서 기존 군집화 기법을 어느 정도 정당화하거나 개선할 수 있는가?
• RQ5 생물학적 데이터의 본질적 대칭성과 조건부 독립성 구조를 잘 반영하는 최적의 군집 솔루션을 확보하기 위한 조건은 무엇인가?

주요 결과

• 제안된 정보집합화 프레임워크는 다변량 상호정보량을 사용하여 분할의 계층을 성공적으로 생성하며, 주요 분할 시퀀스(PSP)는 상관관계가 있는 군집에서 대칭성을 유지한다.
• 대칭적인 상관관계가 {1,2,3} 간에 존재하고 {4}는 독립적인 4변량 시스템에서, PSP 솔루션은 {1,2,3}을 하나의 군집으로 정확히 식별한다. 또한 k=1 및 s≥3.5일 때 MAC 역시 이 군집을 회복하여 특정 매개변수 영역 내에서 일관성을 확인한다.
• k=2일 때, 최소 평균 비용(MAC) 공식화는 대칭성을 유지하지 못하며, {{1,2},{3},{4}}와 같은 분할을 생성하여 기저의 상관관계 구조를 반영하지 못함을 보여, 대칭 설정에서 MAC의 한계를 드러낸다.
• MAC 공식화의 최적 솔루션은 매개변수 s에 매우 민감하다. s<3.5일 경우, 솔루션은 덜 대칭적인 분할로 이동함을 보여, 매개변수 선택에 대한 민감성을 입증한다.
• 하위모듈러 함수 f=h_s의 딜워스 절단은 군집화 목표가 하위모듈러성을 유지하도록 보장하여, 근사 또는 동적 프로그래밍 방법을 통한 최적 분할의 효율적 계산을 가능하게 한다.
• 이 프레임워크는 기존의 생물학적 군집화(예: 공발현 유전자 또는 功能적으로 연결된 뉴런)를 히وري스틱 유사도 측정이 아닌 정보이론적 원리에 기반하여 정당화하는 수학적으로 타당한 기초를 제공한다.