[論文レビュー] Minimax adaptive estimation of nonparametric hidden Markov models

Yohann de Castro, Élisabeth Gassiat+1 more|arXiv (Cornell University)|Jan 20, 2015

Bayesian Methods and Mixture Models参考文献 31被引用数 15

ひとこと要約

本稿は、埋め込まれたヒルベルト部分空間への射影を用いて、有限状態の隠れマルコフモデルにおける非パラメトリック発生密度の罰則付き最小二乗推定量を提案する。この手法は、対数要因を除いてレートミニマックスの適応的推定を達成し、1次元観測値において最適な $ N^{-s/(2s+1)} $ のレートを達成する。ここで $ s $ は滑らかさ、$ N $ は標本サイズを表す。

ABSTRACT

We consider stationary hidden Markov models with finite state space and nonparametric modeling of the emission distributions. It has remained unknown until very recently that such models are identifiable. In this paper, we propose a new penalized least-squares esti-mator for the emission distributions which is statistically optimal and practically tractable. We prove a non asymptotic oracle inequality for our nonparametric estimator of the emission distributions. A consequence is that this new estimator is rate minimax adaptive up to a logarithmic term. Our methodology is based on projections of the emission distributions onto nested subspaces of increasing complexity. The popular spectral estimators are unable to achieve the optimal rate but may be used as initial points in our procedure. Simulations are given that show the improvement obtained when applying the least-squares minimization consecutively to the spectral estimation.

研究の動機と目的

• 有限状態の隠れマルコフモデルにおける発生分布の非パラメトリック推定のための統計的に最適かつ計算上で実行可能な手法を開発すること。
• スペクトル推定量の限界を克服すること。スペクトル推定量は、サブオプティマルなサンプリング複雑度のトレードオフのため、最適レート $ N^{-s/(2s+1)} $ を達成できない。
• 連続する3つの観測値 $ (Y_1,Y_2,Y_3) $ の同時密度推定量の $ L^2 $-リスクに対する非漸近的オラクル不等式を確立し、適応的ミニマックス性を可能にする。
• 正則性条件 [HD] の下で、発生密度のミニマックスレートが対数要因を除いて達成されることを証明すること。
• シミュレーションによって検証されたように、逐次的最小二乗最小化の改良により、スペクトル推定量を上回る性能を示す。

提案手法

• 発生密度をヒルベルト空間内の複雑度が増加する入れ子の部分空間へ射影することで、罰則付き最小二乗法によるモデル選択を可能にする。
• 連続する3つの観測値 $ (Y_1,Y_2,Y_3) $ の同時密度推定量の $ L^2 $-リスクを制御する非漸近的オラクル不等式を用いる。
• 未知の滑らかさ $ s $ に適応するように設計された罰則付き最小二乗推定量を構築し、$ \log N $ 項を除いてミニマックス最適性を達成する。
• HMMの構造を活用して、同時密度推定を発生密度に結びつける。条件 [HD] の下で、逆変換が可能になる。
• スペクトル推定量を初期値として用い、その後に逐次的最小二乗最小化による推定量の改善を実行する。
• 本手法は、ヒルベルト空間内の任意の入れ子の部分空間族に適用可能であり、広範な非パラメトリックHMM設定に適応可能である。

実験結果

リサーチクエスチョン

• RQ1 有限状態のHMMにおける発生密度の非パラメトリック推定量は、パラメトリック形式を仮定せずにミニマックス収束レートに達成可能か？
• RQ2 スペクトル推定量は、その人気にもかかわらず、非パラメトリックHMMにおいてなぜ最適な $ N^{-s/(2s+1)} $ レートに到達できないのか？
• RQ3 対数要因を除いて適応的ミニマックス性を達成する罰則付き最小二乗推定量を構築することは可能か？
• RQ4 モデル制約下で、連続する3つの観測値の同時密度をどのように用いて発生密度の最適推定量を回復できるか？
• RQ5 提案手法は、高次元または複雑な非パラメトリック設定において、統計的に最適かつ実装可能であると期待できるか？

主な発見

• 提案された罰則付き最小二乗推定量は、対数要因 $ \log N $ を除いて、発生密度推定においてミニマックス収束レート $ N^{-s/(2s+1)} $ を達成する。
• 本手法は、連続する3つの観測値の同時密度推定量の $ L^2 $-リスクに対する非漸近的オラクル不等式を確立し、これが適応的ミニマックス性を示唆する。
• スペクトル推定量は計算的に効率的であるが、サブオプティマルであり、より遅いレート $ N^{-s/(2s+3)} $ を達成する。これは最適レート $ N^{-s/(2s+1)} $ よりも厳密に劣っている。
• 理論的進展の核心は、条件 [HD] の下で3つの観測値の同時密度から発生密度を回復できることにあり、これにより最適レートを転送可能となる。
• シミュレーションにより、スペクトル初期値の後に最小二乗最小化を適用することで、推定精度が顕著に向上することが確認された。
• 本手法は頑健で汎用的であり、ヒルベルト空間内の任意の入れ子の部分空間族に適用可能であり、さまざまな非パラメトリックHMM設定に広く適応可能である。