[论文解读] Identifiability and consistent estimation of nonparametric translation hidden Markov models with general state space
本文在一般状态空间下建立了带一般状态空间的平移隐马尔可夫模型的可识别性与一致非参数估计，其中观测值为潜在马尔可夫过程与独立同分布噪声之和，且噪声分布未知。在潜在过程满足温和尾部条件的前提下，作者证明了潜在状态与噪声分布的联合可识别性，并通过特征函数上的最小二乘法与最大似然法提出了一致估计器，经模拟实验验证。
This paper considers hidden Markov models where the observations are given as the sum of a latent state which lies in a general state space and some independent noise with unknown distribution. It is shown that these fully nonparametric translation models are identifiable with respect to both the distribution of the latent variables and the distribution of the noise, under mostly a light tail assumption on the latent variables. Two nonparametric estimation methods are proposed and we prove that the corresponding estimators are consistent for the weak convergence topology. These results are illustrated with numerical experiments.
研究动机与目标
- 在一般状态空间的平移HMM中，建立潜在马尔可夫过程与噪声分布的非参数可识别性。
- 当两者均未知时，发展潜在状态与噪声联合分布的一致非参数估计程序。
- 将现有结果从有限状态HMM扩展至一般（可能连续）状态空间，且在弱矩条件之下。
- 在弱收敛拓扑下，为估计一致性提供理论保证。
- 通过基于特征函数的数值实验验证方法，采用最小二乘法与最大似然法。
提出的方法
- 在潜在过程的拉普拉斯变换满足轻尾条件（增长速率小于2，实值情况下为3）下，证明可识别性。
- 提出一种基于最小化双变量观测值(Y_i, Y_{i+1})的经验特征函数与理论特征函数之间L2距离的最小二乘估计器。
- 使用蒙特卡洛近似方法估计潜在状态对(X_i, X_{i+1})的特征函数，以逼近经验准则。
- 在紧支集上采用分段常数密度模型，表示潜在变量的联合特征函数。
- 应用协方差矩阵自适应进化策略（CMA-ES）对经验损失函数进行非凸优化。
- 通过惩罚风险最小化控制Kullback-Leibler散度，建立估计器在弱收敛下的相合性。
实验结果
研究问题
- RQ1在非参数设定下，当观测值Y_i = X_i + ε_i为独立同分布时，潜在状态与噪声的联合分布在何种条件下可唯一恢复？
- RQ2当噪声未知且状态空间为一般空间时，能否对潜在马尔可夫过程与噪声分布实现一致的非参数估计？
- RQ3在弱矩假设下（如拉普拉斯变换的指数增长速率小于2），可识别性结果是否仍成立？
- RQ4当真实分布未知且模型完全非参数化时，非参数估计在实践中如何实现？
- RQ5在弱收敛拓扑下，所提估计器的理论收敛速率如何？
主要发现
- 当潜在变量的拉普拉斯变换具有小于2的指数增长速率，并附加连续状态之间的依赖性假设时，模型具有可识别性。
- 对于实值潜在过程，可识别性可扩展至增长速率小于3，从而适用于重尾分布。
- 基于特征函数的最小二乘估计器在弱收敛拓扑下具有一致性，且在适当惩罚下误差界为O((log n)^8 / n)。
- 数值实验表明，估计(X_i, X_{i+1})联合分布的L1误差随分辨率r增加而减小，10次运行的平均L1得分分别为r=10时0.028、r=20时0.018、r=30时0.012。
- X_1的估计边缘分布与经验基准高度吻合，置信区间随r增加而缩小，证实了估计的准确性。
- 该方法成功恢复了潜在状态分布，仅受平移不确定性影响，通过假设紧支集与已知位置得以解决。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。