[논문 리뷰] Generic identification of binary-valued hidden Markov processes

Alexander Schönhuth|arXiv (Cornell University)|2011. 01. 19.

Mass Spectrometry Techniques and Applications인용 수 1

한 줄 요약

이 논문은 대수적 통계를 이용하여 이진 값의 은닉 마르코프 과정(HMP)의 식별 문제에 대한 일반적이고 알고리즘적인 해법을 제시한다. 이러한 HMP의 확률 분포가 결정식 대수적 다양체에 속한다는 것을 보여줌으로써, 주어진 유한 길이의 분포가 d ≤ (n+1)/2개의 은닉 상태를 가진 HMP로부터 유래되었는지 여부를 판단하고, 상태 순열을 제외한 유일한 매개변수 재구성 방법을 선형 대수적 절차를 사용하여 제공한다.

ABSTRACT

The generic identification problem is to decide whether a stochastic process $(X_t)$ is a hidden Markov process and if yes to infer its parameters for all but a subset of parametrizations that form a lower-dimensional subvariety in parameter space. Partial answers so far available depend on extra assumptions on the processes, which are usually centered around stationarity. Here we present a general solution for binary-valued hidden Markov processes. Our approach is rooted in algebraic statistics hence it is geometric in nature. We find that the algebraic varieties associated with the probability distributions of binary-valued hidden Markov processes are zero sets of determinantal equations which draws a connection to well-studied objects from algebra. As a consequence, our solution allows for algorithmic implementation based on elementary (linear) algebraic routines.

연구 동기 및 목표

• 정적 또는 기타 제약 조건을 가정하지 않고 이진 값의 은닉 마르코프 과정(HMP)에 대한 일반적 식별 문제를 해결하기 위해.
• d ≤ (n+1)/2개의 은닉 상태를 가진 HMP에 대해 유한 식별 문제에 대한 알고리즘적 해법을 제공하기 위해.
• HMP 분포와 결정식 대수적 다양체 사이의 연결 고리를 설정하여 기하학적 및 계산적 접근 가능하게 하기 위해.
• 모든 매개변수 구성에서 유일한 해를 제공하는 완전한 일반적 해법을 제공하여, 낮은 차원의 집합을 제외한 모든 경우에 적용 가능하게 하기 위해.
• HMP를 식별하기 위한 기초적인 대수기하학 도구를 마련하여, 그 관련 다양체의 이상론적 특성화를 가능하게 하기 위해.

제안 방법

• HMP를 대수적 통계 모델로 모델링하여, 그 확률 분포를 차원 d² + d − 1인 실수 아핀 공간의 점으로 표현하기.
• 모든 유효한 HMP 분포의 집합을 결정식 방정식의 영점으로 정의된 대수적 다양체 Nd ⊂ ℝ^{d²+d−1}로 특성화하기.
• 차원 분석을 통해 Nd가 전체 매개변수 공간보다 낮은 차원을 가짐을 보여주어, 일반적인 의미에서 영집합임을 증명하기.
• 선형 대수 기반 알고리즘 절차(예: 랭크 조건)를 적용하여 관측된 분포 P가 Nd의 여집합에 속하는지 테스트하기.
• 순서 d인 HMP가 길이 2d−1의 문자열 분포로 유일하게 결정됨을 활용하여, 유한 길이 추론 가능하게 하기.
• 이상론적 및 집합론적 결과(예: 보조정리 6.12 및 정리 6.10)를 활용하여, 이진 알파벳에서 유한 과정의 다양체와 HMP의 다양체가 일치함을 증명하기.

실험 결과

연구 질문

• RQ1 정적 또는 기타 구조적 제약 조건을 가정하지 않고 이진 값의 HMP에 대한 일반적 식별 문제를 해결할 수 있는가?
• RQ2 이진 HMP의 확률 분포를 뒷받침하는 대수기하학적 구조는 무엇인가?
• RQ3 주어진 유한 길이 분포가 d ≤ (n+1)/2개의 은닉 상태를 가진 은닉 마르코프 과정으로부터 유래되었는지 여부를 판단할 수 있는 알고리즘적 유한 기준이 존재하는가?
• RQ4 이진 경우에서 유한 과정의 다양체와 HMP의 다양체는 어떻게 관련되어 있는가?
• RQ5 선형 대수적 방법만을 사용하여 이진 HMP의 매개변수를 그 유한 길이 분포로부터 유일하게 재구성할 수 있는가?

주요 결과

• d개의 은닉 상태를 가진 이진 HMP로부터 유도되는 모든 확률 분포의 집합은 차원이 d² + d − 1보다 작게, 결정식 대수적 다양체 Nd로 구성된다.
• 유한 식별 문제의 해법은 알고리즘적이며, 랭크 계산과 같은 기본 선형 대수 절차에만 의존한다.
• |Σ|=2 이고 d ≤ (n+1)/2 인 임의의 분포 P:Σⁿ→[0,1]에 대해, 알고리즘이 매개변수의 영집합을 제외한 모든 경우에서 P가 d개의 은닉 상태를 가진 HMP로부터 유래되었는지 정확히 식별한다.
• P가 HMP 분포일 경우, 유추된 매개변수는 은닉 상태의 순열을 제외하고는 유일하다.
• 이진 알파벳에서 유한 과정의 다양체와 HMP의 다양체가 일치하므로, 이상론적 특성화를 활용하여 주요 결과를 확립할 수 있다.
• 이 방법은 원래의 일반적 식별 문제(문제 1.1)에 대한 완전한 해법을 제공하며, 이를 알고리즘적으로 결정 가능성이 있는 유한 길이 추론 과제로 환원한다.