[論文レビュー] Non parametric finite translation mixtures with dependent regime

Élisabeth Gassiat, Judith Rousseau|arXiv (Cornell University)|Feb 10, 2013

Bayesian Methods and Mixture Models参考文献 37被引用数 8

ひとこと要約

本稿では、従属する潜在状態を伴う非パラメトリック有限翻訳混合モデルを提案し、非特異な遷移行列の仮定の下で、すべてのパラメータ——成分数、翻訳パラメータ、連続する潜在状態の分布——の完全同定可能性を証明する。パラメトリック成分のための根n一貫性で漸近正規な推定量を確立し、隠れマルコフモデルにおける非パラメトリック密度推定量の最小最大適応性を示すオラクル不等式を導出する。

ABSTRACT

In this paper we consider non parametric finite translation mixtures. We prove that all the parameters of the model are identifiable as soon as the matrix that defines the joint distribution of two consecutive latent variables is non singular and the translation parameters are distinct. Under this assumption, we provide a consistent estimator of the number of populations, of the translation parameters and of the distribution of two consecutive latent variables, which we prove to be asymptotically normally distributed under mild dependency assumptions. We propose a non parametric estimator of the unknown translated density. In case the latent variables form a Markov chain (Hidden Markov models), we prove an oracle inequality leading to the fact that this estimator is minimax adaptive over regularity classes of densities.

研究の動機と目的

• 従属する潜在変数を伴う非パラメトリック有限混合モデルにおける同定可能性の問題に取り組むこと、特に発生分布が未知である場合を想定する。
• 潜在構造が従属的である場合に、成分数、翻訳パラメータ、遷移行列の一貫性のある推定量を構築すること。
• 潜在過程の弱い混合性仮定の下で、推定量の漸近正規性を確立すること。
• 隠れマルコフモデルにおける最小最大適応的レートを達成する非パラメトリック密度推定量を提案すること。
• 時間的依存性を組み込み、誤差項の分布的仮定を緩和することで、既存の非パラメトリック混合に関する結果を拡張すること。

提案手法

• モデルは観測値が $ Y_i = m_{S_i} + \epsilon_i $ に従うと仮定する。ここで $ (S_i) $ は有限状態のマルコフ連鎖であり、$ \epsilon_i $ はi.i.d.な誤差項である。
• 誤差分布 $ F $ にかかわらず、2つの連続する潜在状態の連合遷移行列 $ Q $ が非特異であるという条件下で同定可能性を証明する。
• $(Y_1, Y_2)$ の同時分布を用いて、$ k $、$ m_j $、遷移行列 $ Q $ の一貫性のある推定量を構築する。
• 潜在過程の幾何的エルゴドゥニティの下で、推定量が $ \sqrt{n} $ 一貫性であり、漸近正規であることを示す。
• $ k $ と有界な $ m_j $ が既知の場合、推定量は $ \sqrt{n} $ スケールでサブガウス型の集中を示す。
• HMMの枠組みにおいて、オラクル不等式を導出し、非パラメトリック密度推定量が正則性クラスの密度に対して最小最大適応的であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリック有限翻訳混合モデルに従属する潜在状態を伴う場合、すべてのパrameterセットが同定可能となる条件は何か？
• RQ2 誤差分布のパラメトリック形を仮定しないで、成分数、翻訳パラメータ、遷移行列のための一貫性があり、漸近正規な推定量を構築できるか？
• RQ3 提案された非パラメトリック密度推定量は、隠れマルコフモデルの文脈で最適収束レートを達成するか？
• RQ4 潜在過程における時間的依存性は、誤差項の分布的仮定なしに同定可能性をどのように可能にするか？
• RQ5 非パラメトリック密度推定量の収束速度は何か？ また、最小最大最適性を達成するか？

主な発見

• 成分数 $ k $、翻訳パラメータ $ m_1, \ldots, m_k $、遷移行列 $ Q $、誤差分布 $ F $ のすべてのモデルパラメータは、$ Q $ が非特異である限り同定可能である。
• 潜在過程の弱い依存性仮定の下で、$ k $、$ m_j $、$ Q $ の推定量は $ \sqrt{n} $ 一貫性であり、漸近正規である。
• $ k $ と有界な $ m_j $ が既知の場合、推定量は $ \sqrt{n} $ スケールでサブガウス型の集中を示す。
• HMMの枠組みにおいて、非パラメトリック密度推定量はオラクル不等式を満たし、ホルダー滑らかさクラスにおける最小最大適応的であることを示す。
• 推定量の漸近分散は、潜在過程の混合性に依存し、幾何的エルゴドゥニティのもとで収束レートが保たれる。
• 理論的結果は、エントロピーおよびブレケット化の議論を含む、経験過程技法による非漸近的バインドによって裏付けられる。