[论文解读] Nonparametric empirical Bayes and maximum likelihood estimation for high-dimensional data analysis

Lee H. Dicker, Sihai Dave Zhao|arXiv (Cornell University)|Jul 9, 2014

Bayesian Methods and Mixture Models参考文献 30被引用 7

一句话总结

该论文提出了一种计算高效的非参数经验贝叶斯NPMLE近似方法，适用于高维数据，表明其统计误差收敛速度与真实NPMLE相同。此外，该研究提出了一种新型基于NPMLE的分类器，在模拟和真实的高维二分类任务中显著优于现有方法，尤其在基因表达和癌症生存数据中表现突出。

ABSTRACT

Nonparametric empirical Bayes methods provide a flexible and attractive approach to high-dimensional data analysis. One particularly elegant empirical Bayes methodology, involving the Kiefer-Wolfowitz nonparametric maximum likelihood estimator (NPMLE) for mixture models, has been known for decades. However, implementation and theoretical analysis of the Kiefer-Wolfowitz NPMLE are notoriously difficult. A fast algorithm was recently proposed that makes NPMLE-based procedures feasible for use in large-scale problems, but the algorithm calculates only an approximation to the NPMLE. In this paper we make two contributions. First, we provide upper bounds on the convergence rate of the approximate NPMLE's statistical error, which have the same order as the best known bounds for the true NPMLE. This suggests that the approximate NPMLE is just as effective as the true NPMLE for statistical applications. Second, we illustrate the promise of NPMLE procedures in a high-dimensional binary classification problem. We propose a new procedure and show that it vastly outperforms existing methods in experiments with simulated data. In real data analyses involving cancer survival and gene expression data, we show that it is very competitive with several recently proposed methods for regularized linear discriminant analysis, another popular approach to high-dimensional classification.

研究动机与目标

• 为Koenker和Mizera提出的近似NPMLE提供理论依据，该方法计算上可行，但此前缺乏理论支持。
• 证明近似NPMLE可达到与真实NPMLE相同的收敛速率，从而验证其统计有效性。
• 开发并评估一种基于NPMLE的新型非参数经验贝叶斯分类器，用于高维二分类问题。
• 展示所提出的分类器在模拟数据上的卓越性能，以及在真实世界基因表达和癌症生存数据集上的强竞争力。
• 将非参数经验贝叶斯方法的应用范围从传统估计拓展至现代高维分类问题。

提出的方法

• 使用有限维凸优化框架来近似无限维的Kiefer-Wolfowitz NPMLE，实现可扩展的计算。
• 应用Koenker和Mizera算法将NPMLE建模为凸优化问题求解，避免使用计算缓慢的EM类算法。
• 推导出近似NPMLE向真实底层分布收敛速率的上界，其结果与真实NPMLE的已知边界一致。
• 通过从训练数据中估计组别特定的NPMLE $\hat{F}^0$ 和 $\hat{F}^1$，构建贝叶斯分类器，将特征均值作为观测值。
• 采用非参数经验贝叶斯方法，从数据中非参数化地估计混合分布，避免引入调参。
• 通过理论分析和大量模拟实验验证该方法，包括与正则化线性判别分析方法的对比。

实验结果

研究问题

• RQ1 Koenker和Mizera提出的近似NPMLE是否能达到与真实NPMLE相同的统计收敛速率？
• RQ2 基于NPMLE的方法能否有效适应高维二分类任务？
• RQ3 所提出的基于NPMLE的分类器在模拟数据和真实数据上的分类准确率，相较于现有最先进方法表现如何？
• RQ4 在独立同分布的正态观测下，近似NPMLE在高维设置中的理论统计性能如何？
• RQ5 当应用于复杂的真实世界基因组学数据（如基因表达芯片）时，基于NPMLE的分类器是否能保持优异性能？

主要发现

• 近似NPMLE实现了与真实NPMLE相同的收敛速率，其统计误差的上界与真实估计器的最佳已知速率一致。
• 在模拟的高维二分类实验中，所提出的基于NPMLE的分类器远超现有方法。
• 在涉及癌症生存和基因表达的真实数据中，该方法与近期正则化线性判别分析技术相比具有高度竞争力。
• 理论分析证实，近似NPMLE在适当条件下具有统计可靠性，其收敛速率被限制在 $O\left(\frac{\log(N)\{\log(K)\}^2}{NK^2}\right)$。
• 该方法在高维设置中表现出鲁棒性和可扩展性，且NPMLE估计无需调参。
• 基于 $\hat{F}^0$ 和 $\hat{F}^1$ 构建的分类器在实际中表现强劲，尤其在具有复杂、非正态底层分布的情境下。