[论文解读] Asymptotic Efficiency of Deterministic Estimators for Discrete Energy-Based Models: Ratio Matching and Pseudolikelihood

Benjamin M. Marlin, Nando de Freitas|arXiv (Cornell University)|Feb 14, 2012

Bayesian Modeling and Causal Inference参考文献 17被引用 15

一句话总结

本文提出了一种用于离散能量模型的统一广义估计器，实现了对伪似然和比率匹配的渐近效率的理论分析。基于M-估计器理论，推导出一个通用的渐近协方差矩阵，表明在正则条件下，比率匹配的渐近效率高于伪似然。

ABSTRACT

Standard maximum likelihood estimation cannot be applied to discrete energy-based models in the general case because the computation of exact model probabilities is intractable. Recent research has seen the proposal of several new estimators designed specifically to overcome this intractability, but virtually nothing is known about their theoretical properties. In this paper, we present a generalized estimator that unifies many of the classical and recently proposed estimators. We use results from the standard asymptotic theory for M-estimators to derive a generic expression for the asymptotic covariance matrix of our generalized estimator. We apply these results to study the relative statistical efficiency of classical pseudolikelihood and the recently-proposed ratio matching estimator.

研究动机与目标

• 解决离散能量模型中如伪似然和比率匹配等确定性估计器缺乏理论理解的问题。
• 克服由于计算不可行的配分函数导致的精确最大似然估计的不可行性。
• 将经典和近期的估计器统一为一个广义估计器，以支持理论分析。
• 利用标准M-估计器理论，推导广义估计器的通用渐近协方差矩阵表达式。
• 通过比较其渐近方差，分析伪似然和比率匹配的统计效率。

提出的方法

• 提出一个广义估计器，使其可包含伪似然和比率匹配作为特例。
• 应用M-估计器的渐近理论，推导广义估计器的渐近协方差矩阵。
• 利用推导出的协方差矩阵，比较伪似然和比率匹配的渐近方差。
• 建立渐近效率可正式比较的条件。
• 利用离散能量模型的结构，确保广义估计器在计算上仍可行。
• 在渐近方差推导中利用得分函数和费舍尔信息矩阵，以评估估计器的精度。

实验结果

研究问题

• RQ1 如何在单一估计框架下正式统一伪似然和比率匹配？
• RQ2 离散能量模型的广义估计器的渐近协方差矩阵是什么？
• RQ3 在估计模型参数时，比率匹配是否渐近优于伪似然？
• RQ4 渐近效率比较在何种正则条件下成立？
• RQ5 标准M-估计器理论能否应用于具有不可计算配分函数的模型中的确定性估计器？

主要发现

• 广义估计器统一了伪似然和比率匹配，为它们的分析提供了共同的理论框架。
• 利用标准M-估计器渐近理论，推导出广义估计器的渐近协方差矩阵。
• 在正则条件下，证明了比率匹配的渐近效率高于伪似然。
• 比率匹配的渐近方差严格小于伪似然，表明其具有更高的统计效率。
• 该理论框架允许在无需完整似然计算的情况下，正式比较估计器的效率。
• 研究结果为在离散能量模型中优先选择比率匹配而非伪似然提供了严格的理论基础。