[论文解读] Information Criterion for Minimum Cross-Entropy Model Selection

Youngjun Choe|arXiv (Cornell University)|Apr 14, 2017

Statistical Methods and Inference被引用 5

一句话总结

本文提出了交叉熵信息准则（CIC），这是AIC的一种推广，用于在仅能评估数据点处至多一个常数的条件下，从参数模型估计目标分布的交叉熵。CIC被证明在渐近意义上是无偏的交叉熵估计，并被应用于使用参数模型混合来近似最优重要性采样分布。

ABSTRACT

The cross-entropy, which is proportional to the Kullback-Leibler divergence, is widely used to gauge the deviation of a distribution of interest from a reference distribution in statistical inference. For example, the Akaike information criterion (AIC) is an asymptotically unbiased estimator of the cross-entropy from a parametric distribution to the true distribution of data. Minimizing the AIC allows us to find a parametric distribution close to the true distribution. In this paper, we generalize the AIC by letting the reference distribution be a target distribution to approximate when its density can be evaluated up to a multiplicative constant only at observed data points. We prove, under some conditions, that the generalized criterion, which we call the cross-entropy information criterion (CIC), is an asymptotically unbiased estimator of the cross-entropy (up to a multiplicative constant) from a parametric distribution to the target distribution. We demonstrate the usefulness of CIC for approximating the optimal importance sampling distribution by a mixture of parametric distributions.

研究动机与目标

• 将Akaike信息准则（AIC）推广至参考分布为目标分布且其密度仅知至多一个乘法常数的情况。
• 开发一种准则，使其渐近估计参数模型与此类目标分布之间的交叉熵。
• 提供一种实用工具，用于在重要性采样等场景中选择最能近似目标分布的参数模型。
• 展示所提准则在使用参数模型混合近似最优重要性采样分布方面的有效性。

提出的方法

• 通过允许参考分布为在观测数据点处仅知至多一个乘法常数的靶分布，推广AIC。
• 将交叉熵信息准则（CIC）定义为从参数模型到目标分布的交叉熵的估计量。
• 在正则条件下证明CIC对于估计交叉熵（至多一个常数倍数）是渐近无偏的。
• 使用CIC选择最能近似最优重要性采样分布的混合模型。
• 在仅在观测数据点处评估目标密度的似然框架中应用该准则。

实验结果

研究问题

• RQ1 AIC能否推广至参考分布仅知至多常数的情况？
• RQ2 所提准则是否对具有不可行归一化常数的目标分布的交叉熵估计具有渐近无偏性？
• RQ3 CIC在选择重要性采样近似模型方面表现如何？
• RQ4 CIC能否有效指导混合模型的选择以近似最优重要性采样分布？

主要发现

• 所提出的交叉熵信息准则（CIC）在估计从参数模型到目标分布的交叉熵时，即使目标密度仅知至多一个乘法常数，也具有渐近无偏性。
• CIC在模型选择中保持了AIC的优良特性，同时将其适用范围扩展至涉及不可行归一化常数的问题。
• 该准则能够有效选择出在基于模拟的推断中能紧密近似最优重要性采样分布的参数模型。
• CIC为在目标分布仅知至多常数的场景（如指数族或潜变量模型）中提供了理论坚实且实用的模型选择方法。