[论文解读] Empirical Bayes Methods, Reference Priors, Cross Entropy and the EM Algorithm

Ilja Klebanov, Alexander Sikorski+2 more|arXiv (Cornell University)|Nov 30, 2016

Forecasting Techniques and Applications被引用 1

一句话总结

本文提出了一种基于熵的惩罚项，用于经验贝叶斯密度估计，该惩罚项确保在重新参数化和测量变换下的不变性，解决了非参数最大似然估计（NPMLE）中的过拟合问题。该方法推广了参考先验，并与交叉熵和最小差异信息相联系，作为特殊情况产生双重平滑的最大似然估计器。

ABSTRACT

When estimating a probability density within the empirical Bayes framework, the non-parametric maximum likelihood estimate (NPMLE) usually tends to overfit the data. This issue is usually taken care of by regularization - a penalization term is subtracted from the marginal log-likelihood before the maximization step, so that the estimate favors smooth solutions, resulting in the so-called maximum penalized likelihood estimation (MPLE). The majority of penalizations currently in use are rather arbitrary brute-force solutions, which lack invariance under transformation of the parameters(reparametrization) and measurements. This contradicts the principle that, if the underlying model has several equivalent formulations, the methods of inductive inference should lead to consistent results. Motivated by this principle and using an information-theoretic point of view, we suggest an entropy-based penalization term that guarantees this kind of invariance. The resulting density estimate can be seen as a generalization of reference priors. Using the reference prior as a hyperprior, on the other hand, is argued to be a poor choice for regularization. We also present an insightful connection between the NPMLE, the cross entropy and the principle of minimum discrimination information suggesting another method of inference that contains the doubly-smoothed maximum likelihood estimation as a special case.

研究动机与目标

• 解决经验贝叶斯框架下非参数最大似然估计（NPMLE）中的过拟合问题。
• 指出现有惩罚方法在参数和测量变换下缺乏不变性，违反了统计推断的基本原则。
• 基于信息论开发一种正则化方法，以确保在等价模型表述下的不变性和一致性。
• 调和经验贝叶斯估计与信息论原则，特别是交叉熵和最小差异信息。
• 证明将参考先验用作超先验进行正则化是次优的，并提出一种基于熵惩罚的更优替代方案。

提出的方法

• 从信息论原理出发，引入一种基于熵的惩罚项，用于正则化经验贝叶斯估计中的边际对数似然。
• 通过使用费舍尔信息和杰弗里斯先验作为参考，构建惩罚项，以确保估计过程在重新参数化和测量变换下的不变性。
• 将所得估计器表述为具有信息论惩罚的最大惩罚似然估计（MPLE），推广了参考先验的概念。
• 建立NPMLE、交叉熵与最小差异信息原理之间的联系，将估计问题形式化为最小化信息散度。
• 将双重平滑的最大似然估计器作为所提框架的特殊情况推导出来，将其与熵最小化联系起来。
• 使用EM算法计算惩罚似然估计，实现新惩罚方案下密度估计的迭代优化。

实验结果

研究问题

• RQ1 如何使经验贝叶斯密度估计中的正则化在重新参数化和测量变换下保持不变？
• RQ2 何种信息论原则可作为非参数最大似然估计中任意惩罚项的合理替代？
• RQ3 所提出的基于熵的惩罚项在何种意义上推广了经验贝叶斯方法中参考先验的概念？
• RQ4 交叉熵、最小差异信息与最大惩罚似然估计之间的联系如何正式建立？
• RQ5 为何在此背景下将参考先验用作超先验进行正则化被认为是一种较差的选择？

主要发现

• 所提出的基于熵的惩罚项确保了在重新参数化和测量变换下的不变性，满足统计推断的基本原则。
• 该方法通过将参考先验嵌入优先考虑等价模型表述一致性信息论框架中，推广了参考先验。
• 研究表明，将参考先验用作超先验进行正则化是次优的，因为其无法获得与所提基于熵的惩罚项相同的不变性特性。
• NPMLE、交叉熵与最小差异信息原理被正式关联，所提方法提供了统一的推断框架。
• 双重平滑的最大似然估计器作为所提方法的特殊情况出现，验证了其理论一致性。
• 所得密度估计倾向于平滑解，避免过拟合，同时保持不变性，为任意惩罚技术提供了原则性替代方案。