[논문 리뷰] Hierarchical Affinity Propagation

Inmar E. Givoni, Clement Chung외 1명|arXiv (Cornell University)|2012. 02. 14.

Genomics and Phylogenetic Studies참고 문헌 24인용 수 41

한 줄 요약

이 논문은 계층적 클러스터링을 위한 원리적인 확장인 계층적 유사도 전파(Hierarchical Affinity Propagation, HAP)를 제안한다. 이는 계층의 여러 수준에 걸쳐 메시지 전달을 사용하는 유사도 전파의 확장이다. 인공 HIV 돌연변이 데이터와 실제 HIV 서열에서 이는 탐욕적이고 계층별로 처리하는 방법들을 능가하며, 더 나은 목적 함수 값과 지리 및 바이러스 아형과 일치하는 의미 있는 클러스터링을 달성한다. 또한 질량 분석 데이터에서도 유사한 성능을 보인다.

ABSTRACT

Affinity propagation is an exemplar-based clustering algorithm that finds a set of data-points that best exemplify the data, and associates each datapoint with one exemplar. We extend affinity propagation in a principled way to solve the hierarchical clustering problem, which arises in a variety of domains including biology, sensor networks and decision making in operational research. We derive an inference algorithm that operates by propagating information up and down the hierarchy, and is efficient despite the high-order potentials required for the graphical model formulation. We demonstrate that our method outperforms greedy techniques that cluster one layer at a time. We show that on an artificial dataset designed to mimic the HIV-strain mutation dynamics, our method outperforms related methods. For real HIV sequences, where the ground truth is not available, we show our method achieves better results, in terms of the underlying objective function, and show the results correspond meaningfully to geographical location and strain subtypes. Finally we report results on using the method for the analysis of mass spectra, showing it performs favorably compared to state-of-the-art methods.

연구 동기 및 목표

• 생물학, 센서 네트워크, 운영 연구와 같은 분야에서 원리적인 계층적 클러스터링의 필요성을 해결한다.
• 전반적인 구조를 포착하지 못하는 탐욕적이고 계층별로 처리하는 클러스터링 접근법의 한계를 극복한다.
• 계층적 그래픽 모델에서 고차원 잠재변수를 효율적으로 처리할 수 있는 추론 알고리즘을 개발한다.
• 넓은 그룹에서 세부 하위군에 이르기까지 데이터의 다수 수준의 구조를 동시에 식별할 수 있는 클러스터링을 가능하게 한다.
• 기본 진실이 제한되거나 존재하지 않는 실제 데이터에서 향상된 성능을 입증한다.

제안 방법

• 계층적 잠재변수를 포함한 다중 수준 그래픽 모델을 도입하여 유사도 전파 프레임워크를 계층적 클러스터링을 지원하도록 확장한다.
• 내부 및 계층 간 수준에서 책임과 가용성 메시지를 전달하는 메시지 전달 알고리즘을 설계한다.
• 계층의 서로 다른 수준에서 클러스터 간의 종속성을 모델링하기 위해 고차원 잠재변수를 통합한다.
• 분할 함수를 근사하고 계산 가능 최적화를 가능하게 하기 위해 변분 추론 접근법을 사용한다.
• 예시 선택과 계층적 클러스터 할당을 동시에 최적화할 수 있도록 목적 함수를 설정한다.
• 구조적 메시지 전달을 통해 고차원 상호작용의 복잡성에도 불구하고 계산 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 유사도 전파가 원리적인 추론을 가능하게 하여 계층적 클러스터링을 지원하도록 확장될 수 있는가?
• RQ2 제안된 계층적 방법의 성능은 탐욕적이고 계층별로 처리하는 클러스터링 방법과 비교해 어떻게 되는가?
• RQ3 기본 진실이 없을 때, HIV 서열 데이터에서 생물학적으로 의미 있는 클러스터를 회복할 수 있는가?
• RQ4 최신 기술 대비 질량 분석 데이터에서 더 뛰어난 클러스터링 품질을 달성할 수 있는가?
• RQ5 결과로 도출된 클러스터는 지리적 기원 및 바이러스 아형과 같은 알려진 생물학적 요인과 얼마나 잘 일치하는가?

주요 결과

• HAP는 HIV 변종 돌연변이 역학을 모의한 인공 데이터셋에서 탐욕적 클러스터링 기법보다 뛰어난 성능을 보였다.
• 실제 HIV 서열에서 HAP는 경쟁 기법들보다 기저 목적 함수 값에서 더 나은 성능을 달성했다.
• HAP가 생성한 클러스터는 알려진 지리적 위치와 HIV 바이러스 아형과 강한 상관관계를 보였다.
• 질량 분석 데이터에서 HAP는 최신 기술 대비 유사한 성능을 보이며 뛰어난 성능을 보였다.
• 이 방법은 데이터의 다중 수준 구조를 성공적으로 포착하여 넓은 그룹과 세부 하위 그룹 모두를 드러냈다.
• 고차원 잠재변수를 포함한 계층적 모델에도 불구하고 메시지 전달 알고리즘이 효율성을 유지했다.