[논문 리뷰] Efficient model-based clustering with coalescents: Application to multiple outcomes using medical records data

Ricardo Henao, Joseph E. Lucas|arXiv (Cornell University)|2016. 08. 10.

Bayesian Methods and Mixture Models참고 문헌 14인용 수 3

한 줄 요약

이 논문은 이차적 계산 복잡도를 갖는 coalescent 기반 베이지안 계층적 군집화를 위한 효율적인 순차 몽테카를로 샘플러를 제안한다. 이는 다변량이고 i.i.d.가 아닌 데이터에 대한 확장 가능한 모델링을 가능하게 하며, 전자 의무 기록에서 상관관계가 있는 다중 결과를 동시에 모델링할 때 예측 정확도를 향상시킨다. 소규모 데이터셋과 실제 응용 사례에서, 탐욕 알고리즘 및 표준 계층적 군집화 방법보다 뛰어난 성능을 보인다.

ABSTRACT

We present a sequential Monte Carlo sampler for coalescent based Bayesian hierarchical clustering. The model is appropriate for multivariate non-\iid data and our approach offers a substantial reduction in computational cost when compared to the original sampler. We also propose a quadratic complexity approximation that in practice shows almost no loss in performance compared to its counterpart. Our formulation leads to a greedy algorithm that exhibits performance improvement over other greedy algorithms, particularly in small data sets. We incorporate the Coalescent into a hierarchical regression model that allows joint modeling of multiple correlated outcomes. The approach does not require {\em a priori} knowledge of either the degree or structure of the correlation and, as a byproduct, generates additional models for a subset of the composite outcomes. We demonstrate the utility of the approach by predicting multiple different types of outcomes using medical records data from a cohort of diabetic patients.

연구 동기 및 목표

• 다양한 상관관계를 가진 복잡한 구조를 지닌 의료 기록 데이터에 특화된 다변량이고 i.i.d.가 아닌 데이터를 위한 확장 가능한 베이지안 계층적 군집화 방법을 개발하는 것.
• 순차 몽테카를로 샘플링을 활용해 coalescent 기반 군집화의 계산 비용을 세제곱 복잡도에서 이차 복잡도로 감소시키는 것.
• 사전에 상관관계 구조를 알지 못하는 조건에서도 다수의 상관관계가 있는 결과를 동시에 모델링할 수 있도록 하여 의료 응용 분야에서의 예측 정확도를 향상시키는 것.
• 특히 소규모 데이터셋에서 성능 향상이 두드러지는 기존의 탐욕 알고리즘 및 MCMC 기반 군집화 알고리즘을 초월하는 것.

제안 방법

• 계층적 군집화를 모델링하기 위해 이진 트리의 비모수적 사전 분포로 Kingman의 coalescent을 사용한다.
• 기존의 세제곱 시간 복잡도에서 벗어나 이차 시간 복잡도 추론이 가능한 새로운 제안 분포를 갖는 순차 몽테카를로(SMC) 샘플러를 적용한다.
• 표준 탐욕 알고리즘보다 성능을 향상시키기 위해 소규모 데이터셋에서 유의미한 보정을 가한 탐욕적 근사법을 도입한다.
• coalescent 사전을 계층적 회귀 모델에 통합하여 전자 의무 기록 내에서 다수의 상관관계가 있는 결과를 동시에 모델링한다.
• 재표본화와 가중치 조정을 포함한 입자 기반 추론 기법을 사용하여 트리 구조와 잠재 군집 평균의 사후분포를 근사한다.
• 운동 캡처 데이터의 시간적 의존성을 모델링하기 위해 제곱 지수 공분산 함수를 사용하여 구조적 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 순차 몽테카를로 샘플링을 활용해 coalescent 기반 베이지안 군집화를 다변량이고 i.i.d.가 아닌 데이터에 효율적으로 확장할 수 있는가?
• RQ2 제안된 SMC 기반 추론은 기존의 MCMC 및 탐욕 알고리즘과 비교해 계산 비용과 군집 정확도 측면에서 어떻게 성능을 내는가?
• RQ3 다수의 상관관계가 있는 결과를 동시에 모델링할 경우 전자 의무 기록에서 예측 성능이 얼마나 향상되는가?
• RQ4 제안된 탐욕 보정은 특히 소규모 데이터셋에서 군집 품질 향상에 유의미한 기여를 하는가?
• RQ5 coalescent 사전을 갖는 계층적 회귀 모델은 실세계 데이터(예: 운동 캡처 또는 당뇨병 환자 기록)에서 생물학적 또는 임상적으로 타당한 구조를 회복할 수 있는가?

주요 결과

• 제안된 SMC 기반 추론은 이차 계산 복잡도를 달성하여 원래의 세제곱 비용 샘플러 대비 런타임을 크게 감소시켰다.
• 보정이 가미된 탐욕 알고리즘은 표준 탐욕 및 계층적 군집화(HC)보다 ARI 점수에서 뛰어난 성능을 보였으며, 특히 소규모 데이터셋에서 유의미한 향상이 있었고, AUC는 0.85로 HC의 0.84보다 높았다.
• 제안된 SMC 기반 방법인 MPost2는 최고의 AUC(0.86 ± 0.008)를 기록했으며, 원래의 MPost2 구현보다 10배 빠른 속도를 보였다.
• 운동 캡처 데이터에서는 유도된 트리 구조가 해부학적 지식과 잘 일치했으며, 사지와 머리 부분이 명확하게 군집화되었고, 융합 시간이 신체적 근접도를 반영했다.
• 당뇨병 환자 데이터에서 상관관계 구조에 대한 사전 지식 없이도 다수의 상관관계가 있는 결과를 성공적으로 모델링했으며, 이로 인해 예측 정확도가 향상되었다.
• 반복 횟수와 입자 수의 변화에 대해 강건했으며, 다양한 실행 간에 일관된 트리 구조를 유지했다.