[論文レビュー] Identifiability and consistent estimation of nonparametric translation hidden Markov models with general state space

Élisabeth Gassiat, Sylvain Le Corff+1 more|arXiv (Cornell University)|Feb 4, 2019

Bayesian Methods and Mixture Models参考文献 37被引用数 8

ひとこと要約

本稿は、一般状態空間における翻訳隠れマルコフモデル（translation HMM）について、観測値が潜在マルコフ過程と分布が未知の独立同分布ノイズの和である場合に、同定可能性と一貫性のある非パラメトリック推定を確立する。潜在過程にややきつい尾部条件を課すと、著者らは潜在状態とノイズ分布の同時同定可能性を証明し、特性関数に基づく最小二乗法および最尤推定法による一貫性のある推定器を提案。シミュレーションによる検証も実施している。

ABSTRACT

This paper considers hidden Markov models where the observations are given as the sum of a latent state which lies in a general state space and some independent noise with unknown distribution. It is shown that these fully nonparametric translation models are identifiable with respect to both the distribution of the latent variables and the distribution of the noise, under mostly a light tail assumption on the latent variables. Two nonparametric estimation methods are proposed and we prove that the corresponding estimators are consistent for the weak convergence topology. These results are illustrated with numerical experiments.

研究の動機と目的

• 一般状態空間における翻訳HMMにおいて、潜在マルコフ過程とノイズ分布の非パラメトリック同定可能性を確立すること。
• 両者が未知である場合に、潜在状態とノイズの同時分布のための一貫性のある非パラメトリック推定手順を開発すること。
• 従来の有限状態HMMにとどまらず、弱いモーメント条件の下で一般（おそらく連続的）状態空間へと結果を拡張すること。
• 弱収束位相における推定の一貫性について理論的保証を提供すること。
• 特性関数に基づく最小二乗法および最尤推定法を用いた数値実験により、手法を検証すること。

提案手法

• 潜在過程のラプラス変換の指数的成長率が2未塔（実数値の場合には3未塔）である軽尾条件の下で同定可能性を証明する。
• 2次元観測値 (Y_i, Y_{i+1}) の実現値と理論的特性関数のL2距離を最小化する最小二乗推定器を提案する。
• 潜在状態ペア (X_i, X_{i+1}) の特性関数推定のため、実現基準のモンテカルロ近似を用いる。
• コンactな定義域上での区分定数密度モデルを用いて、潜在変数の同時特性関数を表現する。
• 非凸最適化のため、Covariance Matrix Adaptation Evolutionary Strategy (CMA-ES) を用いて実現損失関数を最適化する。
• ペナルティ付きリスク最小化によるKullback-Leibler発散の制御により、弱収束位相における推定器の一貫性を確立する。

実験結果

リサーチクエスチョン

• RQ1 i.i.d. 観測値 Y_i = X_i + ε_i から、非パラメトリック設定下で潜在状態とノイズの同時分布が一意に回復可能となる条件は何か？
• RQ2 ノイズが未知で状態空間が一般の場合に、潜在マルコフ過程とノイズ分布の両方について一貫性のある非パラメトリック推定が可能か？
• RQ3 ラプラス変換の指数的成長率が2未塔であるような弱いモーメント仮定のもとでも、同定可能性の結果は成立するか？
• RQ4 真の分布が未知でモデルが完全に非パラメトリックな状況下で、非パラメトリック推定を実装するにはどうすればよいか？
• RQ5 弱収束位相における、提案手法の推定器の理論的収束速度は何か？

主な発見

• 潜在変数のラプラス変換の指数的成長率が2未塔であり、連続する状態間に依存性仮定がある場合、モデルは同定可能である。
• 実数値の潜在過程の場合、成長率が3未塔まで拡張可能であり、より重尾分布への適用範囲が広がる。
• 特性関数に基づく最小二乗推定器は、適切なペナルティの下で弱収束位相において一貫性を示し、誤差バウンドが O((log n)^8 / n) のオーダーとなる。
• 数値実験では、分解能 r の増加に伴い、(X_i, X_{i+1}) の同時分布推定におけるL1誤差が減少し、10回の実行平均で r = 10, 20, 30 の場合にそれぞれ 0.028, 0.018, 0.012 のL1スコアを示した。
• X_1 の推定周辺分布は、実証的ベンチマークとよく一致しており、r の増加に伴い信頼区間が狭まり、推定の正確性が確認された。
• 翻訳不変性を除いて、潜在状態分布は正しく回復可能であり、これはコンパクトサポートと位置の既知を仮定することで解消された。