[논문 리뷰] Information Geometry Approach to Parameter Estimation in Hidden Markov Models

Masahito Hayashi|arXiv (Cornell University)|2017. 05. 17.

Markov Chains and Monte Carlo Methods참고 문헌 29인용 수 3

한 줄 요약

이 논문은 $k$-memory 전이 행렬의 사영적 피셔 정보를 사용하여 은닉 마르코프 모델(HMM)의 전이 행렬에 대한 정보 기하학 기반 추정기법을 제안한다. 부분 관측된 $k$-스텝 역사 모델링과 전이 행렬 다양체 위의 EM 알고리즘 적용을 통해, 반복당 시간 및 공간 복잡도가 $O(1)$로 유지되며, 渐近적 추정 오차는 사영적 피셔 정보 행렬의 역행렬에 의해 결정되어 표본 크기 $n$과 무관하게 효율적이고 확장 가능한 추론이 가능하다. 이 방법은 국소적 매개변수화를 통해 HMM의 동치 문제를 해결하고, 모델 검증을 위한 $χ^2$-검정을 가능하게 한다.

ABSTRACT

We consider the estimation of the transition matrix of a hidden Markovian process by using information geometry with respect to transition matrices. In this paper, only the histogram of $k$-memory data is used for the estimation. To establish our method, we focus on a partial observation model with the Markovian process and we propose an efficient estimator whose asymptotic estimation error is given as the inverse of projective Fisher information of transition matrices. This estimator is applied to the estimation of the transition matrix of the hidden Markovian process. In this application, we carefully discuss the equivalence problem for hidden Markovian process on the tangent space.

연구 동기 및 목표

• 표본 크기 $n$이 증가함에 따라 기존 EM 알고리즘의 복잡도가 증가하는 것을 방지하는 확장 가능하고 渐近적으로 최적의 은닉 마르코프 모델(HMM) 매개변수 추정 방법을 개발하는 것.
• 특히, $n$에 대해 불변하는 기하학적 구조를 갖는 전이 행렬의 정보 기하학—구체적으로 사영적 피셔 정보—을 HMM 전이 행렬 추정에 적용하여, $n$에 대한 불변성을 활용하는 것.
• 동일한 과정을 나타내는 서로 다른 전이 행렬이 존재하는 HMM의 동치 문제를 국소적 매개변수화를 통해 해결하는 것.
• 특수한 점이 존재하는 매개변수 공간에서도 적용 가능한 강건한 $χ^2$-검정을 통한 모델 검증 도구를 제공하는 것.
• 제안된 방법이 반복당 시간 복잡도가 표본 크기 $n$과 무관하게 일정한 $O(1)$을 유지함을 보여주는 것—기존의 EM 알고리즘과는 달리.

제안 방법

• 전체 순차적 데이터가 아닌 관측 변수 $Y_{i},…,Y_{i+k}$의 $k$-메모리 결합분포만을 사용하는 부분 관측 모델을 수립한다.
• 전이 행렬 다양체의 기하학을 기반으로 한 EM 알고리즘을 적용하며, 추정 불확실성을 기술하기 위해 사영적 피셔 정보 행렬을 사용한다.
• 관측된 분포를 모델링하기 위해 $k$-메모리 전이 행렬의 굴곡진 지수가우스 가족을 활용하여 효율적 최적화를 가능하게 한다.
• 이전 연구 [12]에서 제안한 매개변수화를 활용하여 동일한 HMM을 다른 방식으로 표현하는 비식별적 표현을 제거함으로써 동치 문제를 해결한다.
• 점근적 추정 오차를 사영적 피셔 정보 행렬의 역행렬로 도출하여, 정규 조건 하에서 최적성 보장.
• 특수점이 존재하는 매개변수 공간에서도 적용 가능한 $χ^2$-검정을 도입하여 모델 검증을 가능하게 한다.

실험 결과

연구 질문

• RQ1 전이 행렬의 정보 기하학이 표본 크기 $n$에 따라 복잡도가 증가하지 않는 효율적이고 확장 가능한 HMM 전이 행렬 추정기법 설계에 활용될 수 있는가?
• RQ2 HMM의 부분 관측 모델에서 사영적 피셔 정보 행렬은 점근적 추정 오차를 어떻게 기술할 수 있는가?
• RQ3 정상성과 충분한 $k$ 조건 하에서 $k$-메모리 데이터는 어떻게 숨겨진 전이 행렬 $W$를 유일하게 결정하는가?
• RQ4 다른 전이 행렬이 동일한 과정을 나타내는 HMM의 동치 문제는 국소 기하학적 매개변수화를 통해 어떻게 해결할 수 있는가?
• RQ5 진짜 매개변수 값이 매개변수 공간의 특이점 근처에 있을 경우에도 $χ^2$-검정을 효과적으로 사용하여 HMM 모델을 검증할 수 있는가?

주요 결과

• 제안된 추정기법은 고정된 크기의 $k$-메모리 표현 덕분에 표본 크기 $n$과 무관하게 반복당 시간 및 공간 복잡도가 $O(1)$로 유지된다.
• 점근적 추정 오차는 전이 행렬의 사영적 피셔 정보 행렬의 역행렬로 기술되며, 이는 효율성과 최적성을 보장한다.
• 충분히 큰 $k$에 대해 $k$-메모리 결합분포는 숨겨진 전이 행렬 $W$를 유일하게 결정할 수 있어 일致된 추정이 가능하다.
• 국소적 매개변수화를 통해 비식별적 표현을 제거함으로써 HMM의 동치 문제를 해결하여 유일한 매개변수화를 보장한다.
• $χ^2$-검정을 통한 모델 검증 도구를 제안하여 후보 HMM 모델 간 비교 및 선택에 실용적인 수단을 제공한다.
• 이 방법의 계산적 이점은 뚜렷하다: 기존의 EM 알고리즘은 반복당 시간 및 공간 복잡도가 $O(n)$으로 증가하지만, 본 방법은 $O(1)$ 복잡도를 달성하며, $k$-메모리 히스토그램을 계산하는 데에만 $O(n)$의 준비 비용이 소요된다.