[논문 리뷰] Dynamic Bayesian Multinets

Jeff Bilmes|arXiv (Cornell University)|2013. 01. 16.

Bayesian Modeling and Causal Inference참고 문헌 24인용 수 126

한 줄 요약

이 논문은 순차적 데이터에서 시간 국소 조건부 이상성 구조를 정의하는 데 마르코프 체인 상태를 사용하는 판별적 모델링 프레임워크인 동적 베이지안 다중넷(Dynamic Bayesian Multinets)을 소개한다. 정보 이론 기반 기준과 새로운 구조 학습 히우리즘을 적용하여, 매개변수 수가 유사한 HMM과 표준 동적 베이지안 네트워크보다 우수한 성능을 보이며, 중간 크기의 어휘를 가진 고립된 단어 음성 인식 작업에서 더 높은 분류 정확도를 달성하는 희박한, 클래스 조건부 네트워크를 학습한다.

ABSTRACT

In this work, dynamic Bayesian multinets are introduced where a Markov chain state at time t determines conditional independence patterns between random variables lying within a local time window surrounding t. It is shown how information-theoretic criterion functions can be used to induce sparse, discriminative, and class-conditional network structures that yield an optimal approximation to the class posterior probability, and therefore are useful for the classification task. Using a new structure learning heuristic, the resulting models are tested on a medium-vocabulary isolated-word speech recognition task. It is demonstrated that these discriminatively structured dynamic Bayesian multinets, when trained in a maximum likelihood setting using EM, can outperform both HMMs and other dynamic Bayesian networks with a similar number of parameters.

연구 동기 및 목표

• 순차적 데이터의 국소 시간적 종속성을 포착하는 판별적 동적 그래픽 모델을 개발한다.
• 정보 이론 기반 기준을 통해 희박하고 클래스 조건부 네트워크 구조를 가능하게 하여 분류 성능을 향상시킨다.
• 매개변수 수가 유사한 HMM과 표준 동적 베이지안 네트워크에 대한 확장 가능한 대안을 제공한다.
• 실제 고립된 단어 음성 인식 작업에서 모델의 성능을 평가한다.

제안 방법

• 모델는 각 시간점 t 주변의 시간 국소 조건부 이상성 패턴을 정의하기 위해 마르코프 체인을 사용한다.
• 조건부 이상성 구조는 시간 t에서의 은닉 마르코프 체인 상태에 의해 결정된다.
• 정보 이론 기반 기준 함수(예: 상호정보량)가 희박하고 판별적인 네트워크 구조의 학습을 이끈다.
• 클래스 사후 확률 근사 최적화를 위한 새로운 구조 학습 히우리즘이 제안된다.
• 모델는 순차적 데이터에서 EM 알고리즘을 사용한 최대우도 기반으로 훈련된다.
• 결과적으로 얻어진 동적 베이지안 다중넷은 중간 크기의 어휘를 가진 고립된 단어 음성 인식 작업에 적용된다.

실험 결과

연구 질문

• RQ1 시간 국소 조건부 이상성 구조를 가진 동적 베이지안 네트워크가 순차적 데이터의 분류 성능을 향상시킬 수 있는가?
• RQ2 정보 이론 기반 기준이 동적 환경에서 희박하고 판별적인 네트워크 구조의 학습을 효과적으로 이끌 수 있는가?
• RQ3 유사한 매개변수 수를 가진 HMM과 표준 DBN에 비해 판별적으로 구조화된 동적 베이지안 다중넷의 성능은 어떻게 되는가?
• RQ4 제안된 구조 학습 히우리즘이 클래스 사후 확률에 더 나은 근사를 제공할 수 있는가?

주요 결과

• 제안된 동적 베이지안 다중넷은 매개변수 수가 유사한 HMM과 다른 동적 베이지안 네트워크보다 고립된 단어 음성 인식 작업에서 더 우수한 성능을 보였다.
• 판별적으로 구조화된 모델은 클래스 사후 확률에 더 나은 근사를 제공하여 분류 성능을 향상시켰다.
• 정보 이론 기반 기준의 사용은 순차적 분류에 효과적인 희박하고 클래스 조건부 네트워크 구조를 이끌어냈다.
• 새로운 구조 학습 히우리즘은 주어진 작업에 최적의 네트워크 구조를 성공적으로 식별했다.