[论文解读] Maximum likelihood estimation of a multidimensional log-concave density

Madeleine Cule, Richard J. Samworth+1 more|ArXiv.org|Apr 24, 2008

Bayesian Methods and Mixture Models参考文献 36被引用 18

一句话总结

本文提出了一种完全自动化的非参数最大似然估计器，用于多维对数凹密度，利用凸优化和Shor的r-算法，无需调参即可计算出唯一且全局最优的密度估计。该方法确保了估计器的存在性与唯一性，并在有限样本下表现出优于基于核方法的性能，即使使用最优带宽也是如此。

ABSTRACT

Let X_1, ..., X_n be independent and identically distributed random vectors with a log-concave (Lebesgue) density f. We first prove that, with probability one, there exists a unique maximum likelihood estimator of f. The use of this estimator is attractive because, unlike kernel density estimation, the method is fully automatic, with no smoothing parameters to choose. Although the existence proof is non-constructive, we are able to reformulate the issue of computation in terms of a non-differentiable convex optimisation problem, and thus combine techniques of computational geometry with Shor's r-algorithm to produce a sequence that converges to the maximum likelihood estimate. For the moderate or large sample sizes in our simulations, the maximum likelihood estimator is shown to provide an improvement in performance compared with kernel-based methods, even when we allow the use of a theoretical, optimal fixed bandwidth for the kernel estimator that would not be available in practice. We also present a real data clustering example, which shows that our methodology can be used in conjunction with the Expectation--Maximisation (EM) algorithm to fit finite mixtures of log-concave densities. An R version of the algorithm is available in the package LogConcDEAD -- Log-Concave Density Estimation in Arbitrary Dimensions.

研究动机与目标

• 在独立同分布抽样下，建立多维对数凹密度的最大似然估计器（MLE）的存在性与唯一性。
• 开发一种无需调参的计算框架，以计算MLE，从而克服核密度估计中带宽选择的局限性。
• 证明MLE在有限样本下的性能优于基于核的方法，即使后者使用理论上最优的带宽。
• 使估计器在聚类中通过混合模型（如EM算法）得以实际应用。
• 通过LogConcDEAD包提供开源的R实现，以实现广泛可及性和可复现性。

提出的方法

• 该方法将MLE的计算表述为一个不可微的凸优化问题，利用密度的对数凹性以确保唯一解。
• 利用计算几何方法，将对数密度表示为在三角剖分区域上的分段线性“帐篷函数”，其顶点位于数据点处。
• 应用Shor的r-算法以最小化一个修改后的、凸的、不可微的目标函数，从而实现向MLE的收敛。
• 通过利用三角剖分的结构，使用显式积分公式计算目标函数的次梯度。
• 该算法通过迭代调整每个数据点处的“帐篷杆”高度，形成覆盖数据点的紧绷凹面屋顶，从而计算MLE。
• 该实现已集成于R包LogConcDEAD中，支持任意维度的密度估计。

实验结果

研究问题

• RQ1 在独立同分布抽样下，多维对数凹密度是否存在唯一的最大似然估计器？
• RQ2 尽管优化问题具有不可微性和高维性，是否能够无需调参高效计算MLE？
• RQ3 在有限样本中，MLE与核密度估计器的性能相比如何，尤其是在使用最优带宽时？
• RQ4 MLE是否能有效用于混合模型中，例如与EM算法结合用于聚类？
• RQ5 MLE的计算结构是什么？如何将其几何地表示为分段线性函数？

主要发现

• 以概率1，多维对数凹密度存在唯一的最大似然估计器，从而解决了基本的存在性问题。
• MLE的对数形式表现为一种“帐篷函数”——即在每个数据点处的帐篷杆上形成的紧绷屋顶，提供了几何直观并支持计算。
• 在有限样本中，MLE优于核密度估计器，即使后者使用理论上最优的固定带宽。
• MLE完全自动化，无需选择带宽或平滑参数，而核方法则需要。
• 该方法使MLE能通过EM算法在有限高斯混合模型中实际应用，如真实数据聚类示例所示。
• 该算法的R实现已通过LogConcDEAD包公开提供，便于复现与应用。