[논문 리뷰] Clustering hidden Markov models with variational HEM

Emanuele Coviello, Antoni B. Chan외 1명|arXiv (Cornell University)|2012. 10. 24.

Music and Audio Processing참고 문헌 31인용 수 24

한 줄 요약

이 논문은 은닉 마르코프 모델(HMM)의 클러스터링을 위해 기존의 매개수 기반 거리가 아닌 그들의 기본 확률 분포 기반으로 HMM을 그룹화하는 새로운 알고리즘인 변분 HEM(VHEM)을 제안한다. 계층적 EM 프레임워크와 변분 추론을 활용하여 계산이 불가능한 기대값을 처리하며, 효율적으로 대표 HMM 클러스터 중심을 학습함으로써 시간 시리즈 응용 분야인 동작 캡처, 음악 애너테이션, 필기 인식에서 정확도와 강인성을 향상시킨다.

ABSTRACT

The hidden Markov model (HMM) is a widely-used generative model that copes with sequential data, assuming that each observation is conditioned on the state of a hidden Markov chain. In this paper, we derive a novel algorithm to cluster HMMs based on the hierarchical EM (HEM) algorithm. The proposed algorithm i) clusters a given collection of HMMs into groups of HMMs that are similar, in terms of the distributions they represent, and ii) characterizes each group by a "cluster center", i.e., a novel HMM that is representative for the group, in a manner that is consistent with the underlying generative model of the HMM. To cope with intractable inference in the E-step, the HEM algorithm is formulated as a variational optimization problem, and efficiently solved for the HMM case by leveraging an appropriate variational approximation. The benefits of the proposed algorithm, which we call variational HEM (VHEM), are demonstrated on several tasks involving time-series data, such as hierarchical clustering of motion capture sequences, and automatic annotation and retrieval of music and of online hand-writing data, showing improvements over current methods. In particular, our variational HEM algorithm effectively leverages large amounts of data when learning annotation models by using an efficient hierarchical estimation procedure, which reduces learning times and memory requirements, while improving model robustness through better regularization.

연구 동기 및 목표

• 매개수 기반 거리가 아닌 생성 분포 기반으로 HMM 클러스터링에 효과적인 방법이 부족한 문제를 해결하기 위해.
• HMM 생성 모델과 일관된 대표 HMM 클러스터 중심을 학습하는 계층적 EM 기반 알고리즘을 개발하기 위해.
• HEM의 E단계에서 발생하는 계산이 불가능한 추론 문제를 변분 최적화 문제로 재구성하여 이를 해결하기 위해.
• 특히 의미 애너테이션에서의 계층적 모델 추정에 있어 대규모 HMM 클러스터링 작업의 확장성과 강인성을 향상시키기 위해.
• 직접 분포를 기반으로 클러스터링하여 상태 순열에 대한 민감성과 비선형 매개수 다양체의 영향을 제거하기 위해.

제안 방법

• HMM 클러스터링을 위해 일반화된 EM 알고리즘인 계층적 EM(HEM) 프레임워크를 제안하며, E단계에서는 입력 HMM들에서 가능한 모든 관측값에 대한 기대 충분통계량을 계산한다.
• 실제 후행분포를 근사하기 위해 변분 근사법을 도입하여 계산이 불가능한 E단계를 계산적으로 가능하게 한다.
• 혼합 모델의 로그우도에 대한 변분 하한을 이용해 HMM 매개수(전이, 발화, 혼합 가중치)의 갱신 식을 유도한다.
• 기본 HMM 모델들에 대한 가중합 연산자를 사용하여 기대 충분통계량을 계산함으로써, 클러스터 중심 매개수의 효율적 최적화를 가능하게 한다.
• 숨은 상태 시퀀스와 관측 시퀀스에 대해 변분 추론을 적용하여 클러스터 중심의 일관된 추정을 보장한다.
• 부록 C의 최적화 기법을 활용하여 HMM 매개수 갱신을 닫힌 형태로 유도하며, 혼합 가중치의 경우 Dirichlet 제약 최대화와 발화 성분의 지수족 갱신을 포함한다.

실험 결과

연구 질문

• RQ1 HMM은 매개수 벡터가 아닌 그들의 기본 확률 분포 기반으로 효과적으로 클러스터링될 수 있는가? 이는 비선형 매개수 다양체와 상태 순열 민감성 문제를 피할 수 있는가?
• RQ2 계층적 EM 알고리즘이 HMM 생성 모델과 일관된 대표 HMM 클러스터 중심을 동시에 학습하면서 HMM을 클러스터링할 수 있는가?
• RQ3 변분 추론이 HEM의 계산이 불가능한 E단계를 효과적으로 근사하여 확장 가능하고 강인한 학습을 가능하게 할 수 있는가?
• RQ4 제안된 VHEM 알고리즘이 실제 시간 시리즈 데이터에서 클러스터링 정확도와 모델 강인성 측면에서 기존의 HMM 클러스터링 방법을 능가하는가?
• RQ5 VHEM은 음악이나 영상의 의미 애너테이션과 같은 대규모 HMM 혼합 추정에서 계산 비용과 메모리 사용량을 줄일 수 있는가?

주요 결과

• VHEM 알고리즘은 생성 분포 기반으로 HMM을 클러스터링하여 상태 순열 민감성과 비유클리드 기하학 문제를 피한 효과적인 성능을 달성한다.
• 기본 스펙트럴 클러스터링과 매개수 기반 k-means에 비해 동작 캡처 시퀀스, 음악 애너테이션, 온라인 필기 인식 작업에서 향상된 클러스터링 성능을 보였다.
• 변분 근사를 활용함으로써 학습 시간과 메모리 요구량을 감소시키며, 더 나은 정규화를 통해 모델 강인성을 향상시켰다.
• 알고리즘은 유사한 HMM들을 효율적으로 요약할 수 있는 컴act하고 대표적인 HMM 클러스터 중심을 효과적으로 학습하여 계층적 모델 추정을 효율적으로 가능하게 했다.
• 실험 결과, 특히 대규모 데이터셋에서 애너테이션 모델을 학습할 때 VHEM이 기존 방법보다 계층적 클러스터링 및 검색 작업에서 뛰어난 성능을 보였다.