[논문 리뷰] Gene Expression Time Course Clustering with Countably Infinite Hidden Markov Models

Matthew J. Beal, Praveen Thaggikuppe Krishnamurthy|arXiv (Cornell University)|2012. 06. 27.

Gene expression and cancer classification참고 문헌 15인용 수 9

한 줄 요약

이 논문은 계수 무한 Hidden Markov Model (HDP-HMM)을 제안하여 유전자 발현 시간 경로 데이터를 군집화한다. 계층 Dirichlet 과정을 활용하여 비모수적 모델 복잡도를 가능하게 한다. 두 개의 대규모 데이터셋에서 유한 HMM과 기존의 시간에 의존하지 않는 군집화 방법보다 우수한 성능을 보이며, 더 풍부한 상태 전이와 더 큰 상태 공간을 가짐에도 불구하고 과적합 없이 뛰어난 군집 품질을 달성한다.

ABSTRACT

Most existing approaches to clustering gene expression time course data treat the different time points as independent dimensions and are invariant to permutations, such as reversal, of the experimental time course. Approaches utilizing HMMs have been shown to be helpful in this regard, but are hampered by having to choose model architectures with appropriate complexities. Here we propose for a clustering application an HMM with a countably infinite state space; inference in this model is possible by recasting it in the hierarchical Dirichlet process (HDP) framework (Teh et al. 2006), and hence we call it the HDP-HMM. We show that the infinite model outperforms model selection methods over finite models, and traditional time-independent methods, as measured by a variety of external and internal indices for clustering on two large publicly available data sets. Moreover, we show that the infinite models utilize more hidden states and employ richer architectures (e.g. state-to-state transitions) without the damaging effects of overfitting.

연구 동기 및 목표

• 시간 점을 상호 의존적이지 않으며 시간 반전에 대해 불변으로 간주하는 기존 군집화 방법의 한계를 해결한다.
• 유전자 발현 데이터에 대한 유한 HMM에서 최적의 모델 복잡도를 선택하는 과제를 극복한다.
• 데이터로부터 적절한 숨겨진 상태 수를 자동으로 추론할 수 있는 비모수적 베이지안 접근법을 개발한다.
• 탄력적이고 확장 가능한 프레임워크를 통해 상태 전이를 통한 시간적 의존성을 포착하여 군집 성능을 향상시킨다.
• 더 높은 수의 상태와 복잡한 전이 구조를 포함한 증가된 모델 복잡성에도 불구하고 과적합에 강건함을 입증한다.

제안 방법

• 계층 Dirichlet 과정(HDP) 사전을 사용하여 가чёт 무한 상태 공간을 가진 Hidden Markov Model을 수립한다.
• HDP-HMM을 비모수적 베이지안 프레임워크에 재구성하여 숨겨진 상태 수의 자동 추론을 가능하게 한다.
• 무한 상태 공간과 모델 파라미터에 대한 후행 추론을 위해 게이브스 샘플링을 사용한다.
• 각 시간 경로가 단일 HMM 경로에 의해 생성된 관측값의 시퀀스로 모델링되는 군집 프레임워크에 HDP-HMM을 통합한다.
• 시간 경로 유전자 발현 데이터에 모델을 적용하여 각 군집에 특화된 HMM을 학습한다.
• HDP가 군집 간 공유되는 컴act한 상태 구조를 선호하면서도 군집별로 고유한 복잡성을 허용하는 능력을 활용한다.

실험 결과

연구 질문

• RQ1 무한 상태 공간을 가진 비모수적 HMM은 유한 HMM보다 유전자 발현 시간 경로 데이터 군집 성능을 향상시킬 수 있는가?
• RQ2 유한 모델보다 더 많은 숨겨진 상태와 복잡한 전이 구조를 사용할 때 HDP-HMM은 과적합을 피할 수 있는가?
• RQ3 군집 품질 측면에서 HDP-HMM은 전통적인 시간에 의존하지 않는 군집화 방법보다 어떻게 비교되는가?
• RQ4 모델이 상태 수를 자동으로 추론할 수 있는 능력이 수동으로 하이퍼파rameter를 조정할 필요를 얼마나 줄이는가?
• RQ5 HDP-HMM은 유한 모델가 놓치는 생물학적으로 의미 있는 유전자 발현의 시간적 패턴을 포착할 수 있는가?

주요 결과

• 두 개의 대규모 공개 유전자 발현 데이터셋에서 HDP-HMM은 외부 및 내부 군집 평가 지표에서 모두 유한 HMM에 대한 모델 선택보다 뛰어난 성능을 보였다.
• 시간 순서와 역학을 명시적으로 모델링함으로써, k-means와 같은 시간에 의존하지 않는 방법보다 더 뛰어난 군집 품질을 달성했다.
• HDP-HMM은 과적합 없이 더 많은 숨겨진 상태와 복잡한 상태 전이를 효과적으로 활용했으며, 이는 반대로 유한 모델이 그러한 복잡성에서 성능이 떨어지는 것과 대조된다.
• HDP 사전 덕분에 모델은 적절한 숨겨진 상태 수를 자동으로 추론하여 수동 선택이나 교차 검증이 필요 없어졌다.
• 비선형 추세와 다중 단계 전이를 포함한 다양한 시간 패턴에 대해 안정적인 성능을 보였다.
• 시간 경로 데이터에서 순차적 의존성과 동적 조절 상태를 포착함으로써 생물학적 해석 가능성 향상이 이루어졌다.