[論文レビュー] Non Parametric Hidden Markov Models with Finite State Space: Posterior Concentration Rates

Elodie Vernet|arXiv (Cornell University)|Nov 27, 2015

Bayesian Methods and Mixture Models参考文献 41被引用数 5

ひとこと要約

本稿は、ベイズ枠組みにおいて、有限状態空間をもつ非パラメトリックな隠れマルコフモデル（HMM）の事後分布の収束レートを、連続する観測値の連合密度の $L_1$-ノルムに関して確立する。2つの状況について最小上限事後収束レートを導出し、観測が離散的で発生分布にディリクレ過程事前分布を用いる場合、および連続的でガウス分布のディリクレ過程混合を用いる場合を対象とし、 Hölder滑らかさクラスへの適応性と理論的最適性を確立する。

ABSTRACT

The use of non parametric hidden Markov models with finite state space is flourishing in practice while few theoretical guarantees are known in this framework. Here, we study asymptotic guarantees for these models in the Bayesian framework. We obtain posterior concentration rates with respect to the $L_1$-norm on joint marginal densities of consecutive observations in a general theorem. We apply this theorem to two cases and obtain minimax concentration rates. We consider discrete observations with emission distributions distributed from a Dirichlet process and continuous observations with emission distributions distributed from Dirichlet process mixtures of Gaussian distributions.

研究の動機と目的

• 有限状態空間をもつベイズ非パラメトリック隠れマルコフモデルに対する理論的保証を提供すること。ここで状態数は既知であるが、発生分布は非パラメトリックである。
• 連続する観測値の連合密度に関する $L_1$-ノルムに対する事後分布収束レートを確立すること。
• 離散観測にディリクレ過程事前分布を用いる、および連続観測にガウス分布のディリクレ過程混合を用いる2つの主要な非パラメトリック設定において、最小上限最適レートを達成すること。
• 連続ケースにおいて、真の発生密度の未知の滑らかさに適応する能力を示し、事後分布が未知の滑らかさに適応することを示すこと。

提案手法

• 尤度および事前分布の弱い正則性およびモーメント条件の下で、事後分布収束レートを一般化する定理を構築する。
• 一般定理を2つの具体的なモデルに適用する：発生分布にディリクレ過程事前分布を用いる離散観測、およびガウス分布のディリクレ過程混合を用いる連続観測。
• Kullback-Leibler距離の制御と対数尤度比の分散バウンドを用いて、収束性質を確立する。
• 技術的補題を用いて、真の測度の下での対数尤度比の期待値および分散を制御し、正規カーネルとの畳み込みの性質に依存する。
• 近似理論および密度の尾部挙動を用いて、真の密度と推定密度との間の $L_1$-距離のバウンドを確立する。
• Hölder滑らかさを持つ密度に対して、事後分布が最小上限レート $n^{-\beta/(2\beta+1)}$ に収束することを示し、頻度主義の最小上限レートと一致することを示す。

実験結果

リサーチクエスチョン

• RQ1 ベイズ枠組みにおいて、有限状態空間をもつ非パラメトリック隠れマルコフモデルに対して、事後分布収束レートを確立できるか？
• RQ2 発生分布にディリクレ過程事前分布を用いる離散観測における最小上限事後収束レートは何か？
• RQ3 連続ケースにおいて、ガウス分布のディリクル過程混合を用いる場合、事後分布は未知の発生密度の滑らかさに適応するか？
• RQ4 離散および連続の非パラメトリックHMM設定において、事後分布収束レートは最小上限最適か？
• RQ5 発生分布に対する事前分布の仮定が、事後分布収束レートにどのように影響するか？

主な発見

• 発生分布にディリクレ過程事前分布を用いる離散観測に対して、事後分布収束レートは最小上限最適であり、Hölder滑らかさを持つ密度に対してレート $n^{-\beta/(2\beta+1)}$ を達成する。
• ガウス分布のディリクレ過程混合を用いる連続観測に対して、真の発生密度が Hölder 階数 $\beta$ のクラスに属する場合、事後分布は最小上限レート $n^{-\beta/(2\beta+1)}$ に収束する。
• 一般定理により、尤度および事前分布の弱い正則性およびモーメント条件の下で、事後分布がレート $n^{-\beta/(2\beta+1)}$ に収束することが示された。
• 連続ケースにおいて、真の発生密度の未知の滑らかさに事後分布が適応することが示され、$\beta$ の知識が不要な状態で最適レートを達成することが分かった。
• Kullback-Leibler距離および対数尤度比の分散を、畳み込み近似および尾部バウンドを用いて制御し、レートの導出を可能にした。
• 結果として、有限状態空間をもつベイズ非パラメトリックHMM枠組みが、事後分布収束の観点で頻度主義の最適性能を達成することが確認され、実用的応用の妥当性が裏付けられた。