[논문 리뷰] Order estimation for non-parametric Hidden Markov Models

Luc Lehéricy|arXiv (Cornell University)|2016. 04. 16.

Blind Source Separation Techniques참고 문헌 14인용 수 3

한 줄 요약

이 논문은 비모수적 숨은 마르코프 모델의 차수를 추정하기 위한 두 가지 일致된 방법을 제안한다: 연속적인 두 관측값의 결합 분포에서 행렬의 질량을 이용한 방법과, 벌점이 부과된 최소 제곱 기준을 이용한 방법이다. 두 방법 모두 매개변수 추정에서 강한 일致성과 오рак루 부등식을 달성하며, 수치적 비교를 통해 다양한 시나리오에서의 효과성을 입증한다.

ABSTRACT

We propose and study two pratically tractable methods to estimate the order of non-parametric hidden Markov models in addition to their parameters. The first one relies on estimating the rank of a matrix derived from the law of two consecutive observations while the second one selects the order by minimizing a penalized least squares criterion. We show strong consistency of both methods and prove an oracle inequality on the least squares estimators of the model parameters. We numerically compare their ability to select the right order in several situations and discuss their algorithmic complexity.

연구 동기 및 목표

• 비모수적 숨은 마르코프 모델에서 숨은 상태의 수가 알려져 있지 않고 데이터로부터 추론되어야 하는 차수 추정 문제를 다루기 위해.
• 방출 분포에 대한 비모수적 가정이 필요 없는 동시에 계산적으로 구현 가능한 방법을 개발하여, 동시에 모델의 차수와 매개변수를 추정하기 위해.
• 제안된 추정기의 강한 일치성과 오라클 부등식을 포함한 이론적 보장을 확립하기 위해.
• 다양한 데이터 생성 시나리오에서 두 방법의 경험적 성능와 알고리즘 복잡도를 비교하기 위해.

제안 방법

• 첫 번째 방법은 연속적인 두 관측값의 결합 분포로부터 구성된 행렬의 질량을 계산하여 차수를 추정하며, 이 질량이 모델의 숨은 상태 수와 일치한다는 사실을 활용한다.
• 두 번째 방법은 과적합을 방지하기 위해 적합도와 모델 복잡도를 균형 잡는 벌점이 부과된 최소 제곱 기준을 최소화하여 모델 차수를 선택한다.
• 두 방법 모두 관측된 데이터로부터 관측값의 결합 분포에 대한 경험적 추정치를 사용하여 실용적으로 적용 가능하도록 설계되어 있다.
• 이론적 분석을 통해 미약한 정규성 조건 하에서 차수 추정기의 강한 일치성을 입증한다.
• 모델 매개변수의 최소 제곱 추정기의 오라클 부등식이 유도되어, 알려진 차수를 가진 최적의 모델과의 성능가까이 가까운 성능을 보임을 보여준다.
• 두 방법은 합성 데이터를 대상으로 수치적으로 평가되어, 차수 선택 정확도와 계산 효율성에서의 성능를 비교한다.

실험 결과

연구 질문

• RQ1 연속적인 두 관측값의 결합 분포에서 유도된 행렬의 질량이 숨은 마르코프 모델의 차수를 신뢰성 있게 추정할 수 있는가?
• RQ2 벌점이 부과된 최소 제곱 기준을 최소화하는 것이 비모수적 HMM에서 모델 차수의 일致된 추정기로 작용하는가?
• RQ3 다양한 모델 구성에서 두 방법의 정확도와 알고리즘 복잡도는 어떻게 비교되는가?
• RQ4 매개변수 및 차수 추정기의 이론적 보장, 예를 들어 일치성과 오라클 부등식은 어떤 조건에서 확립될 수 있는가?
• RQ5 제안된 방법이 참값의 모델 차수에 비해 최적의 성능를 발휘하는 조건는 무엇인가?

주요 결과

• 행렬의 질량 기반 방법은 관측 분포에 대한 정규성 조건 하에서 숨은 마르코프 모델의 차수에 대해 일치된 추정기를 제공한다.
• 벌점이 부과된 최소 제곱 방법 역시 강한 일치된 차수 추정기를 제공하며, 매개변수 추정 오차에 대한 오라클 부등식으로 이론적 지원을 받는다.
• 수치 실험을 통해 두 방법 모두 다양한 시뮬레이션 설정에서 참값의 모델 차수를 효과적으로 복원함을 보여주며, 성능는 모델 복잡도와 표본 크기에 따라 달라진다.
• 유한 표본에서, 벌점이 부과된 최소 제곱 접근법은 질량 기반 방법보다 일반적으로 더 높은 안정성과 낮은 분산을 보인다.
• 두 방법의 알고리즘 복잡도는 모두 실용적으로 구현 가능하며, 질량 기반 방법은 더 빠르지만 관측 분포의 추정 오차에 덜 강인할 수 있다.
• 이론적 결과는 매개변수 추정기가 모델 차수를 모를 때조차도 오라클 부등식이 정량화한 바에 따라 거의 최적의 성능를 달성함을 확인한다.