[論文レビュー] State-by-state Minimax Adaptive Estimation for Nonparametric Hidden Markov Models

Luc Lehéricy|arXiv (Cornell University)|Jun 26, 2017

Bayesian Methods and Mixture Models被引用数 9

ひとこと要約

本稿は、ゴールデンシュラーとレプスキーのモデル選択枠組みを用いて、非パラメトリックな隠れマルコフモデルにおける発生密度の、状態別ミニマックス適応推定器を導入する。各状態ごとにバイアス・バリアンスのトレードオフを最適化することで、個々の状態に対して独立にミニマックス収束速度を達成し、計算効率と個々の正則性レベルへの適応性を兼ね備え、シミュレーションおよび実データによる検証がなされている。

ABSTRACT

In this paper, we introduce a new estimator for the emission densities of a nonparametric hidden Markov model. It is adaptive and minimax with respect to each state's regularity--as opposed to globally minimax estimators, which adapt to the worst regularity among the emission densities. Our method is based on Goldenshluger and Lepski's methodology. It is computationally efficient and only requires a family of preliminary estimators, without any restriction on the type of estimators considered. We present two such estimators that allow to reach minimax rates up to a logarithmic term: a spectral estimator and a least squares estimator. We show how to calibrate it in practice and assess its performance on simulations and on real data.

研究の動機と目的

• 発生密度全体の正則性の最悪値に適応するグローバルミニマックス推定器の限界を是正し、滑らかさの高い密度に対しては劣化する収束速度を回避すること。
• 各発生密度の個別正則性に適応する推定器を構築し、状態別ミニマックス収束速度を達成すること。
• 構造的制限なしに、あらかじめ計算された推定器の族に依存するだけで、計算効率を確保すること。
• ゴールデンシュラーとレプスキーの手法に基づくプラグイン手順を用いて、実用的な推定器の補正を行うこと。
• シミュレーションおよび実データの両方で性能を示し、多様な正則性レベルにわたる頑健性と適応性を確認すること。

提案手法

• ゴールデンシュラーとレプスキーのモデル選択枠組みを採用し、各隠れ状態に特化したバイアス・バリアンスのトレードオフに基づいて最適モデルを選択する。
• 状態別基準を定義する：$ A_k(M) = \sup_{M'} \left\{ \|\hat{f}^{(M')}_{k} - \hat{f}^{(M \wedge M')}_{k}\|_2 - \sigma(M') \right\} $、ここで $ \sigma(M') $ はバイアスを推定するためのペナルティ項である。
• 各状態に対して最適なトレードオフを達成するため、$ \|\hat{f}^{(M)}_k\|_2 + A_k(M) $ を最小化するモデル $ \hat{M}_k $ を選択する。
• 2種類の事前推定器を用いる：スペクトル推定器と最小二乗推定器。両者とも、対数因子を除いてミニマックスレートを達成することが示された。
• 全パrameter空間における複雑な最適化を避けることで、計算効率を確保し、あらかじめ計算された推定器に依存する。
• モデルの複雑さとノイズレベルに基づいて理論的境界を導出し、ペナルティ $ \sigma(M') $ を補正する。これにより、実用的実装が可能になる。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックHMMにおける発生密度の推定器を構築できるか。その際、全状態の正則性の最悪値に依存するのでなく、各状態の個別正則性に適応できるか。
• RQ2 提案手法が、各発生密度に対して独立にミニマックス収束速度を達成できるか。計算効率を損なわずに行えるか。
• RQ3 ゴールデンシュラーとレプスキーのモデル選択枠組みを、非パラメトリック発生密度を有するHMMにおける状態別推定に適応できるか。
• RQ4 最小限の仮定の下で、提案推定器に理論的保証（例：オラクル不等式、ミニマックスレート）が与えられるか。
• RQ5 理論的最適性を維持したまま、実世界のデータに実用的に補正・適用可能か。

主な発見

• 提案された推定器は、各発生密度に対して個別にミニマックス収束速度を達成し、各状態の正則性に適応する。グローバル推定器とは異なり、最も収束が遅い密度に制限されない。
• 計算効率が高く、構造的制限なしに、あらかじめ計算された推定器の族に依存する。スペクトル推定器や最小二乗推定器の使用が可能である。
• スペクトル推定器と最小二乗推定器の両方が、対数因子を除いてミニマックスレートを達成しており、選択手順の頑健性が裏付けられた。
• オラクル不等式を用いて理論的保証を確立し、最適モデルが事前に分かっている場合とほぼ同等の性能を示すことを示した。
• シミュレーションおよび実データ応用により、推定器の適応性と性能が確認され、さまざまな正則性レベルにおいて安定した収束が得られた。
• 基準関数の一様連続性を保証することで、適切に定義された最小化子の存在と、頑健な補正を支援した。