[논문 리뷰] Non Parametric Hidden Markov Models with Finite State Space: Posterior Concentration Rates

Elodie Vernet|arXiv (Cornell University)|2015. 11. 27.

Bayesian Methods and Mixture Models참고 문헌 41인용 수 5

한 줄 요약

이 논문은 유한 상태 공간을 가진 비모수 은닉 마르코프 모델(nonparametric hidden Markov models)에 대해 베이지안 프레임워크 하에서 연속 관측값의 조인트 마진널 밀도의 $L_1$-노름에 대해 사후 농도 집중 속도를 확립한다. 이는 관측값이 이산적일 경우 발화 분포에 디리클레 과정 사전분포를, 연속적일 경우 정규분포의 디리클레 과정 혼합을 사용하는 두 경우에 대해 최소최대 사후 농도 집중 속도를 도출하며, 허들러 스무쓰니스 클래스에 대한 이론적 최적성과 적응성(adaptive behavior)을 입증한다.

ABSTRACT

The use of non parametric hidden Markov models with finite state space is flourishing in practice while few theoretical guarantees are known in this framework. Here, we study asymptotic guarantees for these models in the Bayesian framework. We obtain posterior concentration rates with respect to the $L_1$-norm on joint marginal densities of consecutive observations in a general theorem. We apply this theorem to two cases and obtain minimax concentration rates. We consider discrete observations with emission distributions distributed from a Dirichlet process and continuous observations with emission distributions distributed from Dirichlet process mixtures of Gaussian distributions.

연구 동기 및 목표

• 유한 상태 공간을 가진 베이지안 비모수 은닉 마르코프 모델에 대해 이론적 보장을 제공하며, 상태 수는 알려져 있으나 발화 분포는 비모수적임을 가정한다.
• 연속된 관측값의 조인트 밀도에 대해 $L_1$-노름에 대한 사후 농도 집중 속도를 확립한다.
• 이중 비모수적 설정에서 최소최대 최적 속도를 달성한다: 이산 관측값에 대해 발화 분포에 디리클레 과정 사전분포를, 연속 관측값에 대해 정규분포의 디리클레 과정 혼합을 사용하는 경우이다.
• 연속적 경우에서 진짜 발화 밀도의 알려지지 않은 스무쓰니스에 대해 사후 분포가 적응함을 보여준다. 이는 허들러 스무쓰니스 클래스에 대한 적응성이다.

제안 방법

• 우리의 가능성과 사전분포의 약한 정규성 및 모멘트 조건을 만족하는 경우에 대해 사후 농도 집중 속도를 위한 일반 정리를 개발한다.
• 이 일반 정리를 두 가지 구체적 모델에 적용한다: 발화 분포에 디리클레 과정 사전분포를 사용하는 이산 관측값 모델과, 연속 관측값에 대해 정규분포의 디리클레 과정 혼합을 사용하는 모델.
• Kullback-Leibler 발산 제어와 로그우도비의 분산 바OUNDS를 사용하여 농도 집중 성질을 확립한다.
• 기술적 보조정리를 활용하여 진짜 측도 하에서 로그우도비의 기대값과 분산을 제어하며, 정규 커널과의 컨볼루션 성질에 의존한다.
• 근사 이론과 밀도의 尾행동을 이용하여 진짜 밀도와 추정 밀도 사이의 $L_1$-거리에 대한 경계를 설정한다.
• 진짜 밀도가 허들러 스무쓰니스 클래스에 속할 경우 사후 분포가 최소최대 속도 $n^{-\beta/(2\beta+1)}$로 수축함을 보여주며, 이는 빈도주의 최소최대 속도와 일치한다.

실험 결과

연구 질문

• RQ1 베이지안 프레임워크 하에서 유한 상태 공간을 가진 비모수 은닉 마르코프 모델에 대해 사후 농도 집중 속도를 확립할 수 있는가?
• RQ2 발화 분포에 디리클레 과정 사전분포를 사용하는 이산 관측값에 대해 최소최대 사후 농도 집중 속도는 무엇인가?
• RQ3 연속적 경우에서 정규분포의 디리클레 과정 혼합을 사용할 때, 사후 분포는 알려지지 않은 발화 밀도의 스무쓰니스에 적응하는가?
• RQ4 이산 및 연속 비모수 HMM 설정에서 사후 농도 집중 속도가 최소최대 최적인가?
• RQ5 발화 분포에 대한 사전 가정이 사후 농도 집중 속도에 어떤 영향을 미치는가?

주요 결과

• 디리클레 과정 사전분포를 사용하는 이산 관측값에 대해 사후 농도 집중 속도는 최소최대 최적이며, 허들러 스무쓰니스를 가진 밀도에 대해 속도 $n^{-\beta/(2\beta+1)}$를 달성한다.
• 정규분포의 디리클레 과정 혼합을 사용하는 연속 관측값에 대해, 진짜 발화 밀도가 순서 $\beta$의 허들러 클래스에 속할 경우 사후 분포는 최소최대 속도 $n^{-\beta/(2\beta+1)}$로 수축한다.
• 일반 정리는 가능성과 사전분포의 미약한 정규성 및 모멘트 조건 하에서 사후 농도 집중이 속도 $n^{-\beta/(2\beta+1)}$로 이루어짐을 보여준다.
• 연속적 경우에서 진짜 발화 밀도의 알려지지 않은 스무쓰니스에 대해 사후 분포가 적응함을 입증하였으며, $\beta$의 값이 알려져 있지 않아도 최적의 속도를 달성한다.
• 컨볼루션 근사와 尾행동 경계를 사용하여 Kullback-Leibler 발산과 로그우도비의 분산을 제어함으로써 속도 유도가 가능해졌다.
• 결과는 베이지안 비모수 HMM 프레임워크가 유한 상태 공간을 가질 때 빈도주의 최적 성능을 사후 농도 집중 측면에서 달성함을 확인하며, 실용적 적용의 타당성을 입증한다.