[论文解读] Empirical Bayes, SURE and Sparse Normal Mean Models

Xianyang Zhang, Anirban Bhattacharya|arXiv (Cornell University)|Feb 17, 2017

Bayesian Methods and Mixture Models参考文献 32被引用 5

一句话总结

本文提出了一种新颖的经验贝叶斯方法，用于稀疏正态均值模型，采用在零处有点质量、分量密度以数据驱动位置为中心的有限混合先验。通过结合期望最大化（EM）算法与保序回归的池相邻违反者（PAV）算法，该方法能够通过最大化边际似然或最小化SURE（Stein无偏风险估计）高效估计超参数，从而得到具有多方向收缩特性的后验中位数，当信号呈现聚类结构时，其估计精度优于经典方法。

ABSTRACT

This paper studies the sparse normal mean models under the empirical Bayes framework. We focus on the mixture priors with an atom at zero and a density component centered at a data driven location determined by maximizing the marginal likelihood or minimizing the Stein Unbiased Risk Estimate. We study the properties of the corresponding posterior median and posterior mean. In particular, the posterior median is a thresholding rule and enjoys the multi-direction shrinkage property that shrinks the observation toward either the origin or the data-driven location. The idea is extended by considering a finite mixture prior, which is flexible to model the cluster structure of the unknown means. We further generalize the results to heteroscedastic normal mean models. Specifically, we propose a semiparametric estimator which can be calculated efficiently by combining the familiar EM algorithm with the Pool-Adjacent-Violators algorithm for isotonic regression. The effectiveness of our methods is demonstrated via extensive numerical studies.

研究动机与目标

• 开发一种灵活的经验贝叶斯框架，用于稀疏正态均值模型，以适应非零均值中的聚类结构。
• 通过在后验成分中引入数据驱动的位置参数，改进传统spike-and-slab与GMLEB方法的估计精度。
• 在异方差设定下，通过半参数建模提供一种计算高效的超参数估计方法。
• 建立基于SURE的超参数调优程序在混合模型中的理论一致性。
• 将该框架扩展至具有不同误差方差的异方差正态均值模型。

提出的方法

• 使用在零处有点质量、d个分量密度以数据驱动位置为中心的有限混合先验，对稀疏信号进行建模。
• 采用EM算法估计超参数，其中M步通过PAV算法实现加权保序回归，以估计方差分量。
• 提出一种半参数估计器，结合EM与PAV，以高效处理异方差性。
• 通过最小化Stein无偏风险估计（SURE）来调优超参数，以提升风险性能。
• 将边际似然最大化作为SURE的替代方法用于超参数估计。
• 将后验中位数用作阈值规则，实现向零或最近的数据驱动中心的多方向收缩。

实验结果

研究问题

• RQ1 与经典经验贝叶斯方法相比，采用数据驱动分量中心的有限混合先验是否能提升稀疏正态均值模型中的估计精度？
• RQ2 所提出的EM+PAV算法是否能在异方差稀疏正态均值模型中实现高效且一致的估计？
• RQ3 在风险性能方面，基于SURE的超参数调优是否优于边际似然最大化？
• RQ4 后验中位数的多方向收缩特性与spike-and-slab模型中的传统以零为中心的收缩相比如何？
• RQ5 在所提出的混合模型下，基于SURE的调优程序的理论一致性如何？

主要发现

• 所提出模型下的后验中位数是一种阈值规则，表现出多方向收缩特性，将观测值收缩至零或最近的数据驱动中心，当信号呈现聚类时性能更优。
• 数值研究表明，当非零均值呈现聚类结构时，该方法显著优于James-Stein估计器。
• 基于SURE的超参数调优程序在理论上是合理的，其风险估计具有统一一致性结果。
• EM+PAV算法在异方差模型中实现了高效计算，结合了保序回归与EM算法以同时估计方差与位置参数。
• 该方法在超参数估计中实现了统一一致性，估计误差以 $ O_pig( ( ext{log } p)^{3/2} / ext{sqrt}(p) ig) $ 的速率衰减。
• 采用数据驱动中心的有限混合先验提供了一个介于spike-and-slab与完全非参数先验之间的灵活中间模型，兼顾了稀疏性与自适应性。