[论文解读] Estimation of Network structures from partially observed Markov random fields

Yves F. Atchadé|arXiv (Cornell University)|Aug 14, 2011

Statistical Methods and Inference参考文献 20被引用 4

一句话总结

本文提出了一种惩罚伪似然方法，用于从部分观测的马尔可夫随机场（MRF）中估计高维网络结构，将缺失节点视为模型误设。该文建立了相合性，并推导出收敛速率的上界，该上界依赖于缺失数据的程度，表明当缺失程度有限时，估计器仍保持良好行为。

ABSTRACT

We consider the estimation of high-dimensional network structures from partially observed Markov random field data using a penalized pseudo-likelihood approach. We fit a misspecified model obtained by ignoring the missing data problem. We study the consistency of the estimator and derive a bound on its rate of convergence. The results obtained relate the rate of convergence of the estimator to the extent of the missing data problem. We report some simulation results that empirically validate some of the theoretical findings.

研究动机与目标

• 解决在由于缺失节点导致数据不完整时，估计高维马尔可夫随机场（MRF）网络结构的挑战。
• 认识到MRF的边际化不保持MRF形式，因此忽略缺失性的标准方法失效。
• 通过在观测数据上拟合伪似然模型并考虑未观测节点，建立在模型误设下的相合估计框架。
• 理论分析旨在量化随着缺失数据问题加剧，估计器收敛速率的退化程度。

提出的方法

• 使用惩罚伪似然方法估计在误设MRF模型中的网络结构参数θ。
• 将观测数据视为服从完整MRF模型（忽略缺失节点），并应用ℓ¹-惩罚以促进稀疏性。
• 利用经验过程理论和 bracketing entropy 推导估计器收敛速率的理论界。
• 应用比较引理，以控制由于缺失节点导致的不同条件密度下期望值的差异。
• 基于参数差的ℓ¹-范数提出定位论证，以控制估计误差。
• 依赖集中不等式和基于熵的界，建立对参数空间索引的随机过程的统一控制。

实验结果

研究问题

• RQ1 缺失节点的存在如何影响MRF中网络结构估计的相合性与收敛速率？
• RQ2 当真实模型因未观测节点而误设时，惩罚伪似然估计器是否仍能保持相合性？
• RQ3 随着缺失节点的数量或影响增加，收敛速率退化到何种程度？
• RQ4 在因缺失数据导致模型误设的情况下，可为估计器建立何种理论保证？
• RQ5 缺失数据的结构（例如，与观测节点的连接性）如何影响估计精度？

主要发现

• 即使数据部分观测且模型误设，惩罚伪似然估计器对真实网络结构仍保持相合性。
• 估计器的收敛速率受一个与δₙ√(aₙ log pₙ)成比例的项所限制，其中δₙ捕捉了缺失节点的有效影响。
• 随着缺失数据程度的增加，收敛速率退化，且该界明确将速率与缺失程度的大小关联起来。
• 理论分析表明，当缺失程度有限时，估计器性能保持稳定，特别是当√(aₙ log pₙ) = O(α′ₙ√n)时，可确保收敛。
• 模拟结果在经验上验证了理论发现，表明对中等程度缺失具有鲁棒性。
• 比较引理和基于熵的界在控制经验过程偏差方面起关键作用，使统一集中不等式的推导成为可能。