[论文解读] Approximate nonparametric maximum likelihood inference for mixture models via convex optimization

Long Feng, Lee H. Dicker|arXiv (Cornell University)|Jun 7, 2016

Bayesian Methods and Mixture Models参考文献 28被引用 3

一句话总结

本文提出一种基于凸优化的方法，用于近似多变量混合模型的非参数最大似然估计（NPML），在无需强参数假设的前提下，实现了可扩展且精确的推断。该方法能高效估计高维混合分布，并在棒球分析、微阵列分类和血糖预测等实际应用中，表现优于单变量和参数化方法。

ABSTRACT

Nonparametric maximum likelihood (NPML) for mixture models is a technique for estimating mixing distributions that has a long and rich history in statistics going back to the 1950s, and is closely related to empirical Bayes methods. Historically, NPML-based methods have been considered to be relatively impractical because of computational and theoretical obstacles. However, recent work focusing on approximate NPML methods suggests that these methods may have great promise for a variety of modern applications. Building on this recent work, a class of flexible, scalable, and easy to implement approximate NPML methods is studied for problems with multivariate mixing distributions. Concrete guidance on implementing these methods is provided, with theoretical and empirical support; topics covered include identifying the support set of the mixing distribution, and comparing algorithms (across a variety of metrics) for solving the simple convex optimization problem at the core of the approximate NPML problem. Additionally, three diverse real data applications are studied to illustrate the methods' performance: (i) A baseball data analysis (a classical example for empirical Bayes methods), (ii) high-dimensional microarray classification, and (iii) online prediction of blood-glucose density for diabetes patients. Among other things, the empirical results demonstrate the relative effectiveness of using multivariate (as opposed to univariate) mixing distributions for NPML-based approaches.

研究动机与目标

• 解决多变量混合分布非参数最大似然（NPML）估计长期存在的计算与理论挑战。
• 开发一种实用、可扩展且理论基础坚实的凸优化方法，用于拟合任意多变量混合分布。
• 为近似NPML提供具体的实现指导，包括支撑集识别与算法比较。
• 在真实数据应用中展示多变量混合分布相对于单变量混合分布的实证优势。

提出的方法

• 该方法将近似NPML估计表述为凸优化问题，利用内点法实现高效计算。
• 采用对NPMLE的凸近似，保持统计一致性的同时避免精确NPML带来的计算负担。
• 通过理论结果确定估计混合分布的支撑集位于最大似然估计的凸包内。
• 在收敛速度、精度和高维数据可扩展性等指标上，对多种算法进行比较。
• 将该方法应用于三个真实数据问题：棒球运动员表现分析、高维微阵列分类和连续血糖监测。
• 将状态空间模型（如卡尔曼滤波）与非参数混合分布结合，用于建模时变参数。

实验结果

研究问题

• RQ1 凸优化能否使多变量混合模型的近似NPML估计在计算上可行且可扩展？
• RQ2 在经验贝叶斯设置下，多变量混合分布的性能与单变量分布相比如何？
• RQ3 在高维问题中，识别估计混合分布支撑集的有效且可靠的方法是什么？
• RQ4 不同优化算法在求解核心凸问题时，其精度、速度和鲁棒性如何比较？
• RQ5 所提出的方法能否在基因组学和医疗监测等实际应用中，优于标准参数化和经验贝叶斯方法？

主要发现

• 所提出的凸优化方法在血糖预测中取得显著性能提升，相对于联合卡尔曼滤波模型，均方误差（MSE）降低了5.7%。
• 在微阵列分类中，多变量NPML方法优于单变量和参数化替代方法，在高维设置下表现出更高的准确性。
• 基于NPMLE的方法在血糖数据集中相对于CGM的MSE降低了1.51，优于单独模型和联合模型。
• 在椭球单峰似然条件下，估计混合分布的支撑集被证明是MLE凸包的子集，从而实现高效计算。
• 结合非参数混合分布的卡尔曼滤波将MSE降低至1.03，显著优于线性模型（MSE 1.56）和联合模型（MSE 1.54）。
• 实证结果证实，在所有三个真实数据应用中，具有相关分量的多变量混合分布相比单变量对应方法能提供更优的推断效果。