[论文解读] Minimax adaptive estimation of nonparametric hidden Markov models

Yohann de Castro, Élisabeth Gassiat+1 more|arXiv (Cornell University)|Jan 20, 2015

Bayesian Methods and Mixture Models参考文献 31被引用 15

一句话总结

该论文提出了一种惩罚最小二乘估计器，用于有限状态隐马尔可夫模型中的非参数发射密度，通过投影到嵌套的希尔伯特子空间上实现。该方法在对数因子范围内实现了极小极大自适应估计，优于谱估计器，达到了一维观测的最优速率 $ N^{-s/(2s+1)} $，其中 $ s $ 为光滑度，$ N $ 为样本量。

ABSTRACT

We consider stationary hidden Markov models with finite state space and nonparametric modeling of the emission distributions. It has remained unknown until very recently that such models are identifiable. In this paper, we propose a new penalized least-squares esti-mator for the emission distributions which is statistically optimal and practically tractable. We prove a non asymptotic oracle inequality for our nonparametric estimator of the emission distributions. A consequence is that this new estimator is rate minimax adaptive up to a logarithmic term. Our methodology is based on projections of the emission distributions onto nested subspaces of increasing complexity. The popular spectral estimators are unable to achieve the optimal rate but may be used as initial points in our procedure. Simulations are given that show the improvement obtained when applying the least-squares minimization consecutively to the spectral estimation.

研究动机与目标

• 开发一种在统计上最优且计算上可行的有限状态隐马尔可夫模型中发射分布的非参数估计方法。
• 克服谱估计器的局限性，后者由于次优的采样复杂度权衡，无法达到最优速率 $ N^{-s/(2s+1)} $。
• 为联合密度 $ (Y_1,Y_2,Y_3) $ 的估计器建立非渐近的Oracle不等式，从而实现自适应极小极大性。
• 证明在正则性条件 [HD] 下，该估计器对发射密度实现了极小极大速率，仅相差对数因子。
• 通过模拟验证，展示该方法通过序列最小二乘优化改进了谱估计器，从而实现更优性能。

提出的方法

• 该方法在希尔伯特空间框架下，将发射密度投影到复杂度递增的嵌套子空间上，通过惩罚最小二乘法实现模型选择。
• 利用非渐近Oracle不等式控制三个连续观测 $ (Y_1,Y_2,Y_3) $ 的联合密度估计器的 $ L^2 $-风险。
• 构造的惩罚最小二乘估计器能够自适应未知的发射密度光滑度 $ s $，在 $ \log N $ 项范围内达到极小极大最优性。
• 该方法利用HMM结构将联合密度估计与发射密度联系起来，从而在条件 [HD] 下实现反向变换。
• 以谱估计器作为初始点，随后通过迭代最小二乘法最小化过程对估计进行优化。
• 该方法适用于希尔伯特空间中任意嵌套子空间族，并适用于广泛的非参数HMM类别。

实验结果

研究问题

• RQ1 在有限状态HMM中，非参数发射密度估计器是否可以在不假设参数形式的前提下，达到极小极大收敛速率？
• RQ2 尽管谱估计器广受欢迎，为何其在非参数HMM中无法达到最优速率 $ N^{-s/(2s+1)} $？
• RQ3 能否构造一种惩罚最小二乘估计器，使其在对数因子范围内实现自适应极小极大性？
• RQ4 在模型约束下，如何利用三个连续观测的联合密度来恢复发射密度的最优估计？
• RQ5 所提出的方法是否在高维或复杂非参数设置下兼具统计最优性与实际可实施性？

主要发现

• 所提出的惩罚最小二乘估计器在对数因子 $ \log N $ 范围内，实现了发射密度估计的极小极大收敛速率 $ N^{-s/(2s+1)} $。
• 该方法为联合密度估计器 $ (Y_1,Y_2,Y_3) $ 建立了非渐近Oracle不等式，从而蕴含自适应极小极大性。
• 谱估计器虽然计算高效，但为次优，仅能达到较慢的速率 $ N^{-s/(2s+3)} $，严格劣于最优速率 $ N^{-s/(2s+1)} $。
• 该理论的关键进展在于：在条件 [HD] 下，能够从三个观测的联合密度中恢复发射密度，从而实现最优速率的传递。
• 模拟结果证实，在谱估计初始化后应用最小二乘法最小化，能显著提升估计精度。
• 该方法具有鲁棒性和通用性，适用于希尔伯特空间中任意嵌套子空间族，因此可广泛适配各种非参数HMM场景。