[论文解读] Non parametric finite translation mixtures with dependent regime

Élisabeth Gassiat, Judith Rousseau|arXiv (Cornell University)|Feb 10, 2013

Bayesian Methods and Mixture Models参考文献 37被引用 8

一句话总结

本文提出了一种具有依赖隐状态的非参数有限平移混合模型，证明了在非奇异转移矩阵假设下，所有参数——包括分量数量、平移参数以及连续隐状态分布——的完全可识别性。该文建立了参数分量的根-n一致且渐近正态的估计量，并推导出一个Oracle不等式，表明在隐马尔可夫模型中，非参数密度估计量具有极小最大适应性。

ABSTRACT

In this paper we consider non parametric finite translation mixtures. We prove that all the parameters of the model are identifiable as soon as the matrix that defines the joint distribution of two consecutive latent variables is non singular and the translation parameters are distinct. Under this assumption, we provide a consistent estimator of the number of populations, of the translation parameters and of the distribution of two consecutive latent variables, which we prove to be asymptotically normally distributed under mild dependency assumptions. We propose a non parametric estimator of the unknown translated density. In case the latent variables form a Markov chain (Hidden Markov models), we prove an oracle inequality leading to the fact that this estimator is minimax adaptive over regularity classes of densities.

研究动机与目标

• 为解决具有依赖隐变量的非参数有限混合模型中的可识别性问题，特别是当观测分布未知时。
• 在依赖隐结构下，为分量数量、平移参数和转移矩阵构建一致估计量。
• 在隐过程满足温和混合条件的假设下，建立估计量的渐近正态性。
• 提出一种在隐马尔可夫模型中可实现极小最大适应率的非参数密度估计量。
• 通过引入时间依赖性并放宽误差项的分布假设，拓展现有非参数混合模型的结果。

提出的方法

• 模型假设观测值满足 $ Y_i = m_{S_i} + \epsilon_i $，其中 $ (S_i) $ 为有限状态马尔可夫链，$ \epsilon_i $ 为独立同分布的误差项。
• 在联合转移矩阵 $ Q $ 为非奇异的条件下，证明了可识别性，且该结论不依赖于误差分布 $ F $。
• 通过 $ (Y_1, Y_2) $ 的联合分布，构造了 $ k $、$ m_j $ 和转移矩阵 $ Q $ 的一致估计量。
• 在隐过程具有几何遍历性的条件下，证明了估计量为 $ \sqrt{n} $-一致且渐近正态。
• 当 $ k $ 和有界 $ m_j $ 已知时，估计量在 $ \sqrt{n} $-尺度下表现出次高斯浓度。
• 在HMM设定下，推导出一个Oracle不等式，证明非参数密度估计量在密度的正则性类上具有极小最大适应性。

实验结果

研究问题

• RQ1 在何种条件下，具有依赖隐状态的非参数有限平移混合模型的全部参数集是可识别的？
• RQ2 能否在不假设误差分布为参数形式的前提下，为分量数量、平移参数和转移矩阵构造一致且渐近正态的估计量？
• RQ3 所提出的非参数密度估计量是否在隐马尔可夫模型背景下实现了最优收敛速率？
• RQ4 隐过程中的时间依赖性如何在不假设误差项分布的前提下实现参数识别？
• RQ5 非参数密度估计量的收敛速率是多少？是否实现了极小最大最优性？

主要发现

• 只要 $ Q $ 非奇异，所有模型参数——包括分量数量 $ k $、平移参数 $ m_1, \ldots, m_k $、转移矩阵 $ Q $ 和误差分布 $ F $——均可识别。
• 在隐过程满足温和依赖性假设的条件下，$ k $、$ m_j $ 和 $ Q $ 的估计量为 $ \sqrt{n} $-一致且渐近正态。
• 当 $ k $ 和有界 $ m_j $ 已知时，估计量在 $ \sqrt{n} $-尺度下表现出次高斯浓度。
• 在HMM框架下，非参数密度估计量满足一个Oracle不等式，意味着其在Hölder光滑性类上具有极小最大适应性。
• 估计量的渐近方差依赖于隐过程的混合性质，在几何遍历性条件下保持收敛速率。
• 理论结果通过经验过程技术的非渐近界得到支持，包括对似然比的熵与括号化论证。