[论文解读] Horseshoe Regularization for Feature Subset Selection

Anindya Bhadra, Jyotishka Datta+2 more|arXiv (Cornell University)|Feb 23, 2017

Face and Expression Recognition参考文献 40被引用 7

一句话总结

本文通过将特征子集选择问题建模为在霍氏先验下的贝叶斯后验众数估计，提出了一种霍氏正则化方法，利用期望最大化（EM）和局部线性逼近（LLA）实现高效优化，并通过马尔可夫链蒙特卡洛（MCMC）实现不确定性量化。该方法在统计性能上优于现有最先进的非凸求解器，且计算速度显著更快。

ABSTRACT

Feature subset selection arises in many high-dimensional applications of statistics, such as compressed sensing and genomics. The $\ell_0$ penalty is ideal for this task, the caveat being it requires the NP-hard combinatorial evaluation of all models. A recent area of considerable interest is to develop efficient algorithms to fit models with a non-convex $\ell_γ$ penalty for $γ\in (0,1)$, which results in sparser models than the convex $\ell_1$ or lasso penalty, but is harder to fit. We propose an alternative, termed the horseshoe regularization penalty for feature subset selection, and demonstrate its theoretical and computational advantages. The distinguishing feature from existing non-convex optimization approaches is a full probabilistic representation of the penalty as the negative of the logarithm of a suitable prior, which in turn enables efficient expectation-maximization and local linear approximation algorithms for optimization and MCMC for uncertainty quantification. In synthetic and real data, the resulting algorithms provide better statistical performance, and the computation requires a fraction of time of state-of-the-art non-convex solvers.

研究动机与目标

• 开发一种计算高效且统计能力强的高维特征子集选择方法。
• 克服Lasso等凸惩罚方法在大信号下产生偏差、估计性能差的局限性。
• 通过概率化、可扩展的替代方法，解决理想ℓ₀惩罚的计算不可行性问题。
• 提供一个完整的贝叶斯框架，通过MCMC实现不确定性量化，而不仅限于点估计。
• 证明霍氏正则化在稀疏性和估计准确性上优于现有非凸惩罚方法。

提出的方法

• 将霍氏先验建模为具有半柯西全局收缩参数的正态尺度混合分布，实现分层表示以支持高效计算。
• 将惩罚项定义为霍氏先验的负对数，将优化问题转化为后验众数估计问题。
• 开发了期望最大化（EM）和局部线性逼近（LLA）算法，以快速优化非凸目标函数。
• 使用马尔可夫链蒙特卡洛（MCMC）抽样来量化特征选择和参数估计中的不确定性。
• 通过潜变量表示实现可扩展推断，避免组合模型评估。
• 霍氏先验的重尾特性与零点处的尖峰可自然促进稀疏性，并对无关特征实现有效收缩。

实验结果

研究问题

• RQ1 全概率化方法在非凸正则化中是否能在统计性能和计算速度上均优于现有非凸求解器？
• RQ2 霍氏先验的分层结构是否能在高维特征选择中实现高效优化与不确定性量化？
• RQ3 与SCAD和MCP相比，霍氏正则化在变量选择准确性和均方误差方面表现如何？
• RQ4 霍氏先验的理论性质（如近最小最大估计）是否可在实际、可扩展的算法中得到利用？
• RQ5 与仅使用点估计相比，基于MCMC的不确定性量化带来的计算开销如何？

主要发现

• 霍氏正则化方法在合成数据和真实世界数据中均展现出优于现有最先进非凸求解器的统计性能。
• 由于采用了高效的EM和LLA算法，计算时间减少到现有非凸求解器所需时间的极小部分。
• 该方法能高精度识别真实特征，同时将噪声变量收缩至接近零，这得益于霍氏先验的尖峰与重尾特性。
• MCMC抽样提供了可靠的不确定性量化，可信区间能准确反映特征包含概率的真实变异性。
• 霍氏先验的分层表示使后验众数估计稳定且快速，无需进行组合搜索。
• 理论分析证实，在适当的正则性条件下，霍氏惩罚可实现最优估计与选择一致性。