[论文解读] Beyond Maximum Likelihood: from Theory to Practice

Jiantao Jiao, Kartik Venkat+2 more|arXiv (Cornell University)|Sep 26, 2014

Bayesian Modeling and Causal Inference参考文献 23被引用 12

一句话总结

本文提出了一种新颖的估计框架，用来自逼近理论的极小极大率最优估计器替代最大似然估计（MLE），在高维函数估计中显著提升性能。该方法仅使用 n 个样本即可实现与 MLE 使用 n ln n 个样本相当的性能，显著提升了树状结构图形模型和贝叶斯网络分类器的学习效果。

ABSTRACT

Maximum likelihood is the most widely used statistical estimation technique. Recent work by the authors introduced a general methodology for the construction of estimators for functionals in parametric models, and demonstrated improvements - both in theory and in practice - over the maximum likelihood estimator (MLE), particularly in high dimensional scenarios involving parameter dimension comparable to or larger than the number of samples. This approach to estimation, building on results from approximation theory, is shown to yield minimax rate-optimal estimators for a wide class of functionals, implementable with modest computational requirements. In a nutshell, a message of this recent work is that, for a wide class of functionals, the performance of these essentially optimal estimators with $n$ samples is comparable to that of the MLE with $n \ln n$ samples. In the present paper, we highlight the applicability of the aforementioned methodology to statistical problems beyond functional estimation, and show that it can yield substantial gains. For example, we demonstrate that for learning tree-structured graphical models, our approach achieves a significant reduction of the required data size compared with the classical Chow--Liu algorithm, which is an implementation of the MLE, to achieve the same accuracy. The key step in improving the Chow--Liu algorithm is to replace the empirical mutual information with the estimator for mutual information proposed by the authors. Further, applying the same replacement approach to classical Bayesian network classification, the resulting classifiers uniformly outperform the previous classifiers on 26 widely used datasets.

研究动机与目标

• 解决在参数维度与样本量相当或超过样本量的高维设置下，最大似然估计（MLE）表现次优的问题。
• 为参数模型中函数的极小极大率最优估计器构建系统化方法，突破 MLE 的局限性。
• 在图形模型的结构学习和贝叶斯网络分类器等统计学习任务中展示实际性能提升。
• 证明用更优估计器替代经验互信息，可显著降低实现相同准确度所需的样本量。
• 挑战 MLE 在所有情况下均最优的普遍假设，即使其看似已包含所有可用先验知识。

提出的方法

• 利用逼近理论的结果，构建适用于广泛函数类的极小极大率最优估计器。
• 在 Chow–Liu 算法中，用新估计器替代经验互信息，以降低高维设置下的偏差与方差。
• 将相同的估计器替换方法应用于贝叶斯网络分类器，统一提升了 26 个基准数据集上的分类准确率。
• 采用类似收缩的方法，在引入小幅偏差的代价下降低方差，从而在高维估计中实现更低的整体风险。
• 运用熵估计理论建立样本复杂度下限，表明 MLE 对互信息的估计需要 Ω(|X|² / ln|X|) 个样本。
• 理论与实证分析共同验证，新估计器在少于 MLE 所需样本数的情况下仍能保持一致性，证明其高效性。

实验结果

研究问题

• RQ1 是否存在一种系统化方法，可在 MLE 的偏差占主导地位的高维函数估计中超越 MLE？
• RQ2 是否可能构造出仅用 n 个样本即可达到 MLE 使用 n ln n 个样本性能的估计器？
• RQ3 用更优估计器替代经验互信息，对树状结构图形模型中结构学习的样本复杂度有何影响？
• RQ4 所提出的估计器是否能在多种真实世界数据集中统一优于基于经典 MLE 的分类器？
• RQ5 一致估计互信息的理论样本复杂度下限是多少？新估计器与之相比表现如何？

主要发现

• 所提出的估计器仅用 n 个样本即可实现与 MLE 使用 n ln n 个样本相当的性能，理论上可实现高达对数因子的增益。
• 在学习树状结构图形模型时，改进后的 Chow–Liu 算法将所需样本量减少 5 倍即可达到相同准确度——例如，原 MLE 方法需 10,000 个样本，而改进方法仅需 2,000 个样本。
• 改进后的 TAN 分类器在 26 个广泛使用的数据集中统一优于原始模型，即使未使用平滑技术，分类错误率也更低。
• 错误概率衰减曲线显示，改进分类器在 2,000 个样本时达到 0.7 的错误概率，而原始方法需 10,000 个样本。
• 理论分析确认，一致估计互信息需要 Ω(|X|² / ln|X|) 个样本，而新估计器以最优样本复杂度实现了该目标。
• 该方法证明 MLE 对互信息的估计在高维下次优，且通过先进估计技术降低偏差可带来显著的实际收益。