[논문 리뷰] Consistent estimation of the filtering and marginal smoothing distributions in nonparametric hidden Markov models

Yohann de Castro, Élisabeth Gassiat외 1명|arXiv (Cornell University)|2015. 07. 23.

Bayesian Methods and Mixture Models참고 문헌 60인용 수 21

한 줄 요약

이 논문은 총변동 노름에서 추정 오차에 대한 시간에 관계없이 일관된 경계를 제공함으로써 비모수적 은닉 마르코프 모델에서 필터링 및 주변 스무딩 분포의 일관된 추정을 확립한다. 필터링 및 스무딩 오차의 위험은 모수 추정기의 위험에 의해 균일하게 상한선으로 제한되며, 이는 컴팩트 관측 공간에서 명시적인 L2-위험 경계와 수렴 속도를 갖는 비모수 설정으로 스펙트럼 방법을 확장한다.

ABSTRACT

In this paper, we consider the filtering and smoothing recursions in nonparametric finite state space hidden Markov models (HMMs) when the parameters of the model are unknown and replaced by estimators. We provide an explicit and time uniform control of the filtering and smoothing errors in total variation norm as a function of the parameter estimation errors. We prove that the risk for the filtering and smoothing errors may be uniformly upper bounded by the risk of the estimators. It has been proved very recently that statistical inference for finite state space nonparametric HMMs is possible. We study how the recent spectral methods developed in the parametric setting may be extended to the nonparametric framework and we give explicit upper bounds for the L2-risk of the nonparametric spectral estimators. When the observation space is compact, this provides explicit rates for the filtering and smoothing errors in total variation norm. The performance of the spectral method is assessed with simulated data for both the estimation of the (nonparametric) conditional distribution of the observations and the estimation of the marginal smoothing distributions.

연구 동기 및 목표

• 비모수적 유한상태 HMM에서 필터링 및 스무딩 오차에 대한 시간에 관계없이 일관된 제어를 확립하기 위해.
• 최근의 스펙트럼 추정 방법을 비모수적 HMM으로 확장하기 위해.
• 비모수적 스펙트럼 추정기의 L2-위험에 대한 명시적인 상한 경계를 유도하기 위해.
• 관측 공간이 컴팩트할 경우 필터링 및 스무딩 오차의 수렴 속도를 총변동 노름에서 정량화하기 위해.
• 조건부 관측 밀도 및 주변 스무딩 분포에 대해 시뮬레이션 데이터에서 스펙트럼 방법의 성능을 검증하기 위해.

제안 방법

• 저자들은 파arameter 추정 오차에 기반하여 총변동 오차의 명시적이고 시간에 관계없는 경계를 필터링 및 스무딩 분포에 대해 유도한다.
• 관측 커널에서의 경험적 특이 벡터와 특이값을 사용하여 비모수적 HMM에 적응된 스펙트럼 방법을 활용한다.
• 이 방법은 관측 밀도를 컴팩트 공간 위의 매끄러운 함수로 모델링하는 비모수적 추정 프레임워크에 기반한다.
• 핵심 기술적 구성 요소는 경험적 특이 벡터가 그들의 집단 대응체에서 벗어나지 않도록 제어하기 위한 농도 부등식의 사용이다.
• 이 접근법은 필터링 및 스무딩 오차의 위험을 직접적으로 관측 밀도의 스펙트럼 추정기의 L2-위험과 연결한다.
• 최소한의 정규성 가정 하에, 관측 공간의 컴팩트성 가정 하에 이론적 경계를 도출한다.

실험 결과

연구 질문

• RQ1 모델 파라미터가 추정될 때조차도 비모수적 HMM에서 필터링 및 스무딩 오차를 시간에 관계없이 일관되게 제어할 수 있는가?
• RQ2 비모수적 설정에서 필터링 및 스무딩 오차는 모수 추정의 정확도에 어떻게 의존하는가?
• RQ3 관측 공간이 컴팩트할 경우 총변동 노름에서 필터링 및 스무딩 오차의 명시적 수렴 속도는 무엇인가?
• RQ4 비모수적 HMM로의 파라미터 HMM에서 사용된 스펙트럼 방법의 확장은 어느 정도 가능한가?
• RQ5 특히 주변 스무딩 분포에 대해, 제안된 추정기는 유한 표본 시나리오에서 어떻게 성능을 발휘하는가?

주요 결과

• 총변동 노름에서 필터링 및 스무딩 오차는 파라미터 추정기의 위험에 의해 균일하게 상한선으로 제한되며, 이는 시간에 관계없이 일관된 추정을 보장한다.
• 비모수적 관측 밀도 스펙트럼 추정기의 명시적 L2-위험 경계가 도출되어 이론적 수렴 분석이 가능해진다.
• 관측 공간이 컴팩트하다는 가정 하에, 총변동 노름에서 필터링 및 스무딩 오차의 명시적 수렴 속도가 확립된다.
• 시뮬레이션에서 스펙트럼 방법은 조건부 관측 밀도 및 주변 스무딩 분포 양쪽 모두에서 일관된 추정을 달성한다.
• 이론적 결과는 파라미터 추정에서 필터링 및 스무딩으로의 오차 전파가 시간에 관계없이 잘 제어되고 균일하게 상한선으로 제한됨을 보여준다.
• 이 방법은 점근적이지 않은, 시간에 관계없는 추정 오차 제어를 제공하며, 이는 은닉 마르코프 모델에서 순차적 추론에 있어 핵심적이다.