[论文解读] Consistent estimation of the filtering and marginal smoothing distributions in nonparametric hidden Markov models

Yohann de Castro, Élisabeth Gassiat+1 more|arXiv (Cornell University)|Jul 23, 2015

Bayesian Methods and Mixture Models参考文献 60被引用 21

一句话总结

本文通过在总变差范数下对估计误差提供统一且时间不变的界，建立了非参数隐马尔可夫模型中滤波和边缘平滑分布的一致估计。它表明，滤波和光滑误差的风险被参数估计器的风险统一上界控制，将谱方法扩展到非参数设置，并在紧致观测空间下给出了显式的L2风险界和收敛速率。

ABSTRACT

In this paper, we consider the filtering and smoothing recursions in nonparametric finite state space hidden Markov models (HMMs) when the parameters of the model are unknown and replaced by estimators. We provide an explicit and time uniform control of the filtering and smoothing errors in total variation norm as a function of the parameter estimation errors. We prove that the risk for the filtering and smoothing errors may be uniformly upper bounded by the risk of the estimators. It has been proved very recently that statistical inference for finite state space nonparametric HMMs is possible. We study how the recent spectral methods developed in the parametric setting may be extended to the nonparametric framework and we give explicit upper bounds for the L2-risk of the nonparametric spectral estimators. When the observation space is compact, this provides explicit rates for the filtering and smoothing errors in total variation norm. The performance of the spectral method is assessed with simulated data for both the estimation of the (nonparametric) conditional distribution of the observations and the estimation of the marginal smoothing distributions.

研究动机与目标

• 在非参数有限状态HMM中建立滤波和光滑误差的统一、时间不变控制。
• 将近期的谱估计方法从参数设置扩展到非参数HMM。
• 推导非参数谱估计器的L2风险的显式上界。
• 在观测空间紧致的假设下，量化滤波和光滑误差在总变差范数下的收敛速率。
• 在模拟数据上验证谱方法在条件观测密度和边缘平滑分布上的性能。

提出的方法

• 作者推导了滤波和光滑分布的总变差误差的显式、时间不变界，其以参数估计误差为条件。
• 他们将谱方法适配到非参数HMM中，利用观测核的样本奇异向量和奇异值。
• 该方法依赖于一个非参数估计框架，其中观测密度被建模为紧致空间上的光滑函数。
• 一个关键技术组件是使用集中不等式来控制经验奇异向量与其总体对应物的偏差。
• 该方法将滤波和光滑误差的风险与观测密度谱估计器的L2风险直接关联。
• 理论界在最小正则性假设下推导得出，假设观测空间是紧致的。

实验结果

研究问题

• RQ1 在模型参数被估计的情况下，非参数HMM中的滤波和光滑误差是否能在时间上一致控制？
• RQ2 在非参数设置下，滤波和光滑误差在多大程度上依赖于参数估计的准确性？
• RQ3 在观测空间紧致的假设下，滤波和光滑误差在总变差范数下的显式收敛速率是什么？
• RQ4 在参数HMM中使用的谱方法在多大程度上可被扩展到非参数HMM？
• RQ5 在有限样本场景下，所提出的估计器表现如何，特别是对于边缘平滑分布？

主要发现

• 在总变差范数下，滤波和光滑误差被参数估计器风险统一上界控制，确保了时间上的一致估计。
• 为非参数谱估计器的观测密度推导出显式的L2风险界，使理论收敛分析成为可能。
• 在观测空间紧致的假设下，本文建立了滤波和光滑误差在总变差范数下的显式收敛速率。
• 在模拟中，谱方法实现了对条件观测密度和边缘平滑分布的一致估计。
• 理论结果表明，从参数估计到滤波和平滑的误差传播被良好控制，并在时间上保持统一有界。
• 该方法提供了非渐近的、时间一致的估计误差控制，这对隐马尔可夫模型中的序列推断至关重要。