[논문 리뷰] The Sticky HDP-HMM: Bayesian Nonparametric Hidden Markov Models with Persistent States

Emily B. Fox, Erik B. Sudderth외 2명|arXiv (Cornell University)|2009. 05. 15.

Bayesian Methods and Mixture Models인용 수 70

한 줄 요약

이 논문은 스테이트 전이에서 지속성(persistence)을 도입하여 과도한 세분화를 줄이고, 비모수적 방출 모델링과 잘린 디리클레 과정 근사에 의한 효율적 샘플링을 가능하게 하는 베이지안 비모수 은닉 마르코프 모델인 Sticky HDP-HMM을 제안한다. 표준 NIST 벤치마크에서 최신 기술 성능을 달성한다.

ABSTRACT

We consider the problem of speaker diarization, the problem of segmenting an audio recording of a meeting into temporal segments corresponding to individual speakers. The problem is rendered particularly difficult by the fact that we are not allowed to assume knowledge of the number of people participating in the meeting. To address this problem, we take a Bayesian nonparametric approach to speaker diarization that builds on the hierarchical Dirichlet process hidden Markov model (HDP-HMM) of Teh et al. [J. Amer. Statist. Assoc. 101 (2006) 1566--1581]. Although the basic HDP-HMM tends to over-segment the audio data---creating redundant states and rapidly switching among them---we describe an augmented HDP-HMM that provides effective control over the switching rate. We also show that this augmentation makes it possible to treat emission distributions nonparametrically. To scale the resulting architecture to realistic diarization problems, we develop a sampling algorithm that employs a truncated approximation of the Dirichlet process to jointly resample the full state sequence, greatly improving mixing rates. Working with a benchmark NIST data set, we show that our Bayesian nonparametric architecture yields state-of-the-art speaker diarization results.

연구 동기 및 목표

• 모임에서의 화자 디아라이제이션 문제를 해결하기 위해 사전에 화자 수를 알지 못하는 조건에서의 도전 과제를 해결한다.
• 종종 부과적 상태를 생성하고 빠르게 상태를 전환하는 HDP-HMM에서의 과도한 세분화 문제를 줄인다.
• 베이지안 비모수 프레임워크 내에서 방출 분포의 비모수적 모델링을 가능하게 한다.
• 더 나은 혼합 비율을 갖는 효율적 샘플링 알고리즘을 통해 실제 디아라이제이션 작업에 모델을 확장한다.
• 표준 화자 디아라이제이션 데이터셋에서 최신 기술 성능을 달성한다.

제안 방법

• 스테이트 전이에 스테이크 전이 행렬을 도입하여 상태 지속성을 유도함으로써 빠른 상태 전환을 줄인다.
• 완전한 상태 시퀀스를 동시에 재샘플링할 수 있도록 디리클레 과정의 잘린 근사를 사용하여 샘플링 효율성과 혼합 비율을 향상시킨다.
• 무한한 수의 상태를 허용할 수 있도록 상태 전이 행렬에 계층적 디리클레 과정 사전분포를 적용한다.
• 방출 분포를 디리클레 과정 사전분포를 사용하여 비모수적으로 처리함으로써 화자 특징의 민감한 모델링을 가능하게 한다.
• 잘린 근사를 사용하여 한 번에 전체 상태 시퀀스를 재샘플링하는 깁스 샘플링 전략을 적용한다.
• 디리클레 과정의 스틱 브레이킹 구조를 활용하여 비모수 모델에서의 추론을 실현 가능하게 한다.

실험 결과

연구 질문

• RQ1 스테이트 지속성을 강제함으로써 화자 디아라이제이션에서 과도한 세분화에 더 강건한 베이지안 비모수 HMM을 만들 수 있는가?
• RQ2 베이지안 비모수 HMM 프레임워크 내에서 방출 분포를 어떻게 비모수적으로 모델링할 수 있는가?
• RQ3 모델의 상태 수가 알려져 있지 않고 고차원 관측값을 갖는 비모수 HMM에서 효율적 샘플링을 달성할 수 있는가?
• RQ4 제안된 Sticky HDP-HMM은 표준 화자 디아라이제이션 벤치마크에서 기존 방법을 능가하는가?
• RQ5 스테이트 지속성은 HDP-HMM의 MCMC 추론에서 혼합 비율과 수렴에 어떤 영향을 미치는가?

주요 결과

• 스테이크 전이 행렬을 통해 상태 지속성을 유도함으로써 Sticky HDP-HMM은 과도한 세분화를 크게 줄였다.
• 모델은 비모수적 방출 모델링을 가능하게 하여 화자 특성에 대한 민감하고 데이터 기반의 표현을 허용한다.
• 잘린 디리클레 과정 근사를 통해 전체 상태 시퀀스를 효율적으로 동시에 재샘플링할 수 있었고, 이로 인해 더 빠른 혼합 비율과 향상된 수렴 성능를 달성했다.
• NIST SRE 2006 벤치마크에서 제안된 모델은 최신 기술 수준의 화자 디아라이제이션 성능를 달성했다.
• 샘플링 알고리즘이 실제 화자 디아라이제이션 작업에 효과적으로 스케일업되었으며, 모델의 복잡성에도 불구하고 높은 정확도를 유지했다.
• 스테이크 HDP-HMM은 분할 정확도와 알려지지 않은 화자 수에 대한 강건성 측면에서 표준 HDP-HMM보다 뛰어난 성능를 보였다.