[논문 리뷰] On Maximum a Posteriori Estimation of Hidden Markov Processes

A. E. Allahverdyan, Aram Galstyan|ArXiv.org|2009. 06. 10.

Markov Chains and Monte Carlo Methods참고 문헌 9인용 수 4

한 줄 요약

이 논문은 이방성 임의 필드를 갖는 이징 스핀 모델로 문제를 매핑함으로써 이진 대칭 숨은 마르코프 과정(HMM)에 대한 사후 최대화(MAP) 추정을 분석한다. 저자들은 낮은 노이즈에서 유일한 해, 중간 노이즈에서 지수적으로 많은 해, 높은 노이즈에서 해가 감소하는 세 가지 구분된 열역학적 상(phase)을 규명하였으며, 이는 제1종 전이로 연결되어 있다. 정확도는 낮은 노이즈에서 선형적으로 악화되고, 중간 영역에서는 해의 다수성으로 인해 거의 일정하게 유지된다.

ABSTRACT

We present a theoretical analysis of Maximum a Posteriori (MAP) sequence estimation for binary symmetric hidden Markov processes. We reduce the MAP estimation to the energy minimization of an appropriately defined Ising spin model, and focus on the performance of MAP as characterized by its accuracy and the number of solutions corresponding to a typical observed sequence. It is shown that for a finite range of sufficiently low noise levels, the solution is uniquely related to the observed sequence, while the accuracy degrades linearly with increasing the noise strength. For intermediate noise values, the accuracy is nearly noise-independent, but now there are exponentially many solutions to the estimation problem, which is reflected in non-zero ground-state entropy for the Ising model. Finally, for even larger noise intensities, the number of solutions reduces again, but the accuracy is poor. It is shown that these regimes are different thermodynamic phases of the Ising model that are related to each other via first-order phase transitions.

연구 동기 및 목표

• 점 추정을 넘어서서 HMM에서의 MAP 추정의 구조적 성질을 이해하기 위해.
• 노이즈 강도에 따른 MAP 해의 수와 추정 정확도를 함수로 특성화하기 위해.
• MAP 추론이 스핀 시스템의 열역학적 행동과 유사한 비정상적인 상 전이를 보임을 드러내기 위해.
• 해의 다수성과 정확도를 이징 모델의 영점 온도에서의 엔트로피와 에너지와 연결하기 위해.
• 순차적 추론 과제에서의 MAP 추론의 안정성과 신뢰성에 대한 이론적 통찰을 제공하기 위해.

제안 방법

• 이진 대칭 HMM에 대한 MAP 추정 문제를 관측치를 나타내는 고정된 임의 필드를 갖는 이징 스핀 모델로 매핑하기 위해.
• 이징 해밀토니안을 음의 사후확률 로그로 정의하여 에너지 최소화가 사후확률 최대화와 대응되도록 하기 위해.
• 영점 온도에서 지구 상태 에너지(정확도)와 엔트로피(해의 수)를 추출하기 위해 분석하기 위해.
• 통계역학 도구를 사용하여 일반적인 관측 시퀀스에 대해 평균 에너지와 해의 로그 수를 계산하기 위해.
• 노이즈 강도 변화에 따라 에너지와 엔트로피의 불연속성으로서 상 전이를 식별하기 위해.
• 유일한 해, 비퇴화된 해, 열악한 해의 세 영역을 제1종 전이로 분리된 서로 다른 열역학적 상으로 연결하기 위해.

실험 결과

연구 질문

• RQ1 이진 대칭 HMM에서 노이즈 강도가 증가함에 따라 MAP 해의 수는 어떻게 변하는가?
• RQ2 MAP 추론에서 추정 정확도와 노이즈 수준 사이의 관계는 무엇인가?
• RQ3 노이즈가 변화함에 따라 MAP 추론의 해 공간은 상 전이를 보이는가?
• RQ4 이징 모델의 영점 온도에서의 엔트로피는 거의 최적의 시퀀스의 다수성과 어떻게 관련되는가?
• RQ5 스핀 시스템의 열역학적 유사성에 기반해 MAP 추론의 안정성을 이해할 수 있는가?

주요 결과

• 낮은 노이즈에서는 MAP 해가 유일하며, 노이즈 강도가 증가함에 따라 추정 정확도가 선형적으로 악화된다.
• 중간 노이즈 수준에서는 MAP 해의 수가 지수적으로 증가하며, 이는 이징 모델의 비영인 지구 상태 엔트로피로 반영된다. 이때 정확도는 거의 일정하게 유지된다.
• 높은 노이즈에서는 해의 수가 再감소하지만, 사전 확률의 강한 영향으로 인해 추정 정확도는 열악하다.
• 세 영역—유일한 해, 비퇴화된 해, 열악한 해—는 제1종 전이로 분리된 이징 모델의 구분된 열역학적 상이다.
• 상 전이의 영향으로 노이즈 강도의 미세한 변화가 해의 구조와 성능에 큰 영향을 미칠 수 있으며, 이는 실무에서 전이 지점의 사용을 피해야 함을 시사한다.
• 해의 다수성을 관리할 수 있다면, 최대우도(ML) 추정보다 정확도가 낮지만 유한한 노이즈 범위 내에서 MAP 추정의 안정성이 실용적 이점을 제공한다.