[논문 리뷰] Identifiability and consistent estimation of nonparametric translation hidden Markov models with general state space

Élisabeth Gassiat, Sylvain Le Corff외 1명|arXiv (Cornell University)|2019. 02. 04.

Bayesian Methods and Mixture Models참고 문헌 37인용 수 8

한 줄 요약

이 논문은 일반 상태 공간을 가진 이동 숨은 마르코프 모델에서 관측값이 잠재 마르코프 과정과 분포가 알려지지 않은 i.i.d. 잡음의 합인 경우, 식별성과 일致한 비모수적 추정을 확립한다. 잠재 과정에 대한 약한 尾 조건이 만족될 경우, 저자들은 잠재 상태 및 잡음 분포의 공동 식별성을 증명하고, 특성 함수에 기반한 최소 제곱법과 최대우도 추정법을 통해 일致한 추정기를 제안하며, 시뮬레이션을 통해 검증한다.

ABSTRACT

This paper considers hidden Markov models where the observations are given as the sum of a latent state which lies in a general state space and some independent noise with unknown distribution. It is shown that these fully nonparametric translation models are identifiable with respect to both the distribution of the latent variables and the distribution of the noise, under mostly a light tail assumption on the latent variables. Two nonparametric estimation methods are proposed and we prove that the corresponding estimators are consistent for the weak convergence topology. These results are illustrated with numerical experiments.

연구 동기 및 목표

• 일반 상태 공간을 가진 이동 HMM에서 잠재 마르코프 과정과 잡음 분포의 비모수적 식별성을 확립하기 위해.
• 잠재 상태와 잡음의 공동 분포에 대한 일치하는 비모수적 추정 절차를 개발하기 위해, 이 때 둘 다 알려져 있지 않은 경우를 대비하여.
• 기존 결과를 유한 상태 공간 HMM에 국한된 범위를 초월하여, 약한 모멘트 조건 하에 일반(가능성 있는 연속) 상태 공간으로 확장하기 위해.
• 약한 수렴 위상에서 추정 일致성에 대한 이론적 보장을 제공하기 위해.
• 특성 함수 기반 최소 제곱법과 최대우도 접근법을 사용한 수치 실험을 통해 방법을 검증하기 위해.

제안 방법

• 잠재 과정의 라플라스 변환에 대해 경량 尾 조건을 가정하고, 그 성장률이 2 이하(실수값의 경우 3 이하)일 경우 식별성을 증명한다.
• 이원 관측값 (Y_i, Y_{i+1})의 경험적 및 이론적 특성 함수 간의 L2 거리 최소화를 기반으로 한 최소 제곱 추정기 제안.
• 잠재 상태 쌍 (X_i, X_{i+1})의 경험적 기준을 몬테카를로 근사를 통해 특성 함수를 추정하기 위해 사용한다.
• 잠재 변수의 공동 특성 함수를 표현하기 위해 유한 지지 위의 조각별 상수 밀도 모델을 사용한다.
• 경험 손실 함수의 비凸 최적화를 위해 공분산 매트릭스 적응 진화 전략(CMA-ES)을 적용한다.
• 벌점 위험 최소화를 통한 쿨백-라이블러 발산 제어를 통해 약한 수렴 하에서 추정기의 일치성을 확립한다.

실험 결과

연구 질문

• RQ1 i.i.d. 관측값 Y_i = X_i + ε_i 로부터 비모수적 설정에서 잠재 상태와 잡음의 공동 분포가 유일하게 복원 가능한가에 대한 조건은 무엇인가?
• RQ2 잡음이 알려져 있지 않고 상태 공간이 일반적인 경우, 잠재 마르코프 과정과 잡음 분포에 대해 일치하는 비모수적 추정이 가능할 수 있는가?
• RQ3 예를 들어 라플라스 변환의 지수 성장률이 2 미만일 경우, 식별성 결과가 유지되는가?
• RQ4 진짜 분포가 알려져 있지 않고 모델이 완전히 비모수적인 상황에서 비모수적 추정을 어떻게 실현할 수 있는가?
• RQ5 약한 수렴 위상에서 제안된 추정기의 이론적 수렴 속도는 무엇인가?

주요 결과

• 잠재 변수의 라플라스 변환의 지수 성장률이 2 이하일 경우, 이중적으로 성장 조건이 만족되고 연속 상태에 대한 종속성 가정이 추가로 필요할 때 모델은 식별 가능하다.
• 실수값 잠재 과정의 경우, 성장률이 3 이하일 때까지 식별성이 유지되어 더 무거운 尾 분포로의 적용 범위가 넓어진다.
• 특성 함수 기반 최소 제곱 추정기는 약한 수렴 위상에서 일치성을 확보하며, 적절한 벌점 조건 하에서 오차 한계가 O((log n)^8 / n)의 주기로 이루어진다.
• 수치 실험 결과, (X_i, X_{i+1})의 공동 분포 추정에서 L1 오차는 해상도 r 증가에 따라 감소하며, 10회 반복 평균 L1 점수는 각각 r = 10, 20, 30일 때 0.028, 0.018, 0.012로 나타난다.
• X_1의 추정 마진 분포는 경험 기준과 매우 유사하며, r 증가에 따라 신뢰구간이 좁아져 추정 정확도가 확인된다.
• 모델은 번역 불확정성까지 고려해 잠재 상태 분포를 성공적으로 복원한다. 이는 유한 지지와 알려진 위치를 가정함으로써 해결된다.