[논문 리뷰] Minimax adaptive estimation of nonparametric hidden Markov models

Yohann de Castro, Élisabeth Gassiat외 1명|arXiv (Cornell University)|2015. 01. 20.

Bayesian Methods and Mixture Models참고 문헌 31인용 수 15

한 줄 요약

이 논문은 유한 상태 은닉 마르코프 모형에서 비모수적 방출 밀도를 위한 페널티가 부여된 최소 제곱 추정기(least-squares estimator)를 제안한다. 이는 포함된 힐버트 부분공간 위로의 사영(projection)을 사용한다. 이 방법은 로그 인자까지 최소 최대 최적화를 달성하며, 일변도 관측에서 최적의 $ N^{-s/(2s+1)} $ 수렴 속도를 확보함으로써 스펙트럼 추정기보다 우월하다. 여기서 $ s $ 는 부드러움의 정도이고 $ N $ 은 표본 크기이다.

ABSTRACT

We consider stationary hidden Markov models with finite state space and nonparametric modeling of the emission distributions. It has remained unknown until very recently that such models are identifiable. In this paper, we propose a new penalized least-squares esti-mator for the emission distributions which is statistically optimal and practically tractable. We prove a non asymptotic oracle inequality for our nonparametric estimator of the emission distributions. A consequence is that this new estimator is rate minimax adaptive up to a logarithmic term. Our methodology is based on projections of the emission distributions onto nested subspaces of increasing complexity. The popular spectral estimators are unable to achieve the optimal rate but may be used as initial points in our procedure. Simulations are given that show the improvement obtained when applying the least-squares minimization consecutively to the spectral estimation.

연구 동기 및 목표

• 유한 상태 은닉 마르코프 모형에서 방출 분포의 비모수적 추정을 위한 통계적으로 최적이고 계산적으로 실현 가능한 방법을 개발하는 것.
• 스펙트럼 추정기의 한계를 극복하여, 하위 최적의 표본 복잡도 트레이드오프로 인해 최적의 수렴 속도 $ N^{-s/(2s+1)} $ 를 달성하지 못하는 문제를 해결하는 것.
• 세 개의 연속 관측값 $ (Y_1,Y_2,Y_3) $ 의 공동 밀도 추정기의 $ L^2 $-위험에 대한 비점근적 오ракル 부등식(non-asymptotic oracle inequality)을 수립함으로써 적응형 최소 최대 성질을 확보하는 것.
• 조건 [HD] 하에, 추정기가 방출 밀도의 최소 최대 수렴 속도를 로그 인자까지 달성함을 증명하는 것.
• 시뮬레이션을 통해 검증된 순차적 최소 제곱 최적화 보완을 통한 스펙트럼 추정기의 개선을 통해, 방법이 스펙트럼 추정기보다 우월함을 보여주는 것.

제안 방법

• 이 방법은 힐버트 공간 내에서 복잡도가 증가하는 포함된 부분공간 위로 방출 밀도를 사영함으로써, 페널티가 부여된 최소 제곱 방법을 통한 모형 선택을 가능하게 한다.
• 세 개의 연속 관측값 $ (Y_1,Y_2,Y_3) $ 의 공동 밀도 추정기의 $ L^2 $-위험을 제어하기 위해 비점근적 오라클 부등식을 사용한다.
• 페널티가 부여된 최소 제곱 추정기는 알려지지 않은 방출 밀도의 부드러움 $ s $ 에 적응하여, $ \log N $ 항을 제외한 최소 최대 최적화를 달성한다.
• 이 방법은 HMM의 구조를 활용하여 공동 밀도 추정을 방출 밀도와 연결함으로써, 조건 [HD] 하에 역변환(back-transformation)이 가능하게 한다.
• 스펙트럼 추정기를 초기값으로 사용한 후, 반복적인 최소 제곱 최적화를 통해 추정치를 정밀화한다.
• 이 방법은 힐버트 공간 내 임의의 포함된 부분공간의 가족에 적용 가능하며, 광범위한 비모수적 HMM 설정에 널리 적용 가능하다.

실험 결과

연구 질문

• RQ1 유한 상태 HMM에서 방출 밀도의 비모수적 추정기는 모형의 형태를 가정하지 않고 최소 최대 수렴 속도를 달성할 수 있는가?
• RQ2 스펙트럼 추정기는 인기 있음에도 불구하고 비모수적 HMM에서 최적의 $ N^{-s/(2s+1)} $ 수렴 속도를 달성하지 못하는 이유는 무엇인가?
• RQ3 알려지지 않은 부드러움 $ s $ 에 적응하여 로그 인자까지 최소 최대 적응성을 달성하는 페널티가 부여된 최소 제곱 추정기를 구성할 수 있는가?
• RQ4 모델 제약 조건 하에서, 세 개의 연속 관측값의 공동 밀도를 어떻게 활용하여 방출 밀도의 최적 추정치를 복원할 수 있는가?
• RQ5 제안된 방법은 고차원 또는 복잡한 비모수적 설정에서도 통계적으로 최적이고 실질적으로 구현 가능한가?

주요 결과

• 제안된 페널티가 부여된 최소 제곱 추정기는 로그 인자 $ \log N $ 를 제외한 최소 최대 수렴 속도 $ N^{-s/(2s+1)} $ 를 달성한다.
• 이 방법은 공동 밀도 추정기 $ (Y_1,Y_2,Y_3) $ 의 $ L^2 $-위험에 대한 비점근적 오라클 부등식을 수립하여, 적응형 최소 최대 성질을 암시한다.
• 스펙트럼 추정기는 계산적으로 효율적이지만, 하위 최적의 성능을 보이며, 최적의 $ N^{-s/(2s+1)} $ 보다 느린 속도 $ N^{-s/(2s+3)} $ 만을 달성한다.
• 핵심 이론적 진전은 조건 [HD] 하에 세 관측값의 공동 밀도로부터 방출 밀도를 복원할 수 있다는 점이며, 이는 최적의 수렴 속도를 전달할 수 있도록 한다.
• 시뮬레이션 결과는 스펙트럼 초기화 이후 최소 제곱 최적화를 적용함으로써 추정 정확도가 크게 향상됨을 확인한다.
• 이 방법은 강건하고 일반적이며, 힐버트 공간 내 임의의 포함된 부분공간의 가족에 적용 가능하므로 다양한 비모수적 HMM 설정에 널리 적응 가능하다.