[论文解读] Bayesian Masking: Sparse Bayesian Estimation with Weaker Shrinkage Bias

Yohei Kondo, Kohei Hayashi+1 more|arXiv (Cornell University)|Sep 3, 2015

Sparse and Compressive Sensing Techniques参考文献 9被引用 3

一句话总结

本文提出贝叶斯掩码（BM），一种稀疏贝叶斯估计方法，通过引入二值隐变量随机掩码特征，避免对权重施加正则化。通过在因子化信息准则（FIC）上进行变分贝叶斯推断来估计掩码率，BM 在稀疏性-收缩权衡方面优于 Lasso 和 ARD，且通过梯度上升与重参数化实现加速收敛。

ABSTRACT

A common strategy for sparse linear regression is to introduce regularization, which eliminates irrelevant features by letting the corresponding weights be zeros. However, regularization often shrinks the estimator for relevant features, which leads to incorrect feature selection. Motivated by the above-mentioned issue, we propose Bayesian masking (BM), a sparse estimation method which imposes no regularization on the weights. The key concept of BM is to introduce binary latent variables that randomly mask features. Estimating the masking rates determines the relevance of the features automatically. We derive a variational Bayesian inference algorithm that maximizes the lower bound of the factorized information criterion (FIC), which is a recently developed asymptotic criterion for evaluating the marginal log-likelihood. In addition, we propose reparametrization to accelerate the convergence of the derived algorithm. Finally, we show that BM outperforms Lasso and automatic relevance determination (ARD) in terms of the sparsity-shrinkage trade-off.

研究动机与目标

• 解决传统稀疏正则化方法（如 Lasso 和 ARD）中固有的收缩偏差问题，这些方法会扭曲相关特征权重。
• 克服基于正则化的稀疏性限制，通过消除对权重参数的直接惩罚。
• 开发一种新颖的稀疏估计框架，通过可学习的掩码率识别特征相关性，而非依赖权重收缩。
• 利用基于信息几何的梯度上升与重参数化技术，提升推断算法的收敛速度。
• 通过实证结果证明，BM 在平衡稀疏性与收缩方面优于 Lasso 和 ARD，尤其在高维设置下表现更优。

提出的方法

• 引入二值隐变量，在训练过程中随机掩码特征，其中每个特征的掩码率被建模为可学习的先验。
• 将 BM 模型表述为具有共享掩码概率的层次化贝叶斯线性回归，掩码概率在样本间共享，但按特征独立学习。
• 推导一种变分贝叶斯推断算法，通过最大化因子化信息准则（FIC）的下界，实现渐近准确的边缘似然近似。
• 实现一种类似 EM 的坐标上升算法，结合梯度更新以加速收敛，利用重参数化实现稳定优化。
• 采用 FAB（Fisher-Ascent-Blending）算法框架，联合优化掩码率与模型参数，融合 EM 与梯度上升步骤。
• 对掩码率参数应用重参数化，以提升基于梯度更新的稳定性和速度，受信息几何与收敛性分析的启发。

实验结果

研究问题

• RQ1 一种稀疏估计方法是否能在不依赖权重参数正则化的情况下，避免相关特征权重的收缩偏差？
• RQ2 与 Lasso 和 ARD 等传统正则化方法相比，基于掩码的方法在稀疏性与收缩权衡方面的性能如何？
• RQ3 基于因子化信息准则（FIC）的变分贝叶斯推断是否能在无正则化框架下有效估计特征相关性？
• RQ4 将梯度上升与重参数化结合，能在多大程度上提升 BM 模型推断算法的收敛速度？
• RQ5 随着特征数量的增加，所提出方法是否能在保持高精确度的同时实现高召回率，特别是在特征选择中？

主要发现

• 在所有测试的特征数量下（K = 10, 30, 50, 100），BM 的 F1 得分最高，表明其在特征选择中实现了精度与召回率的最佳整体平衡。
• 当 K = 50 时，混合 FAB-EM-EG 算法相比 FAB-EM 显著加速收敛，单位时间内正确剪枝的特征数量更多，且错误率未上升。
• FAB-EM-EG 与 FAB-EM 的错误剪枝特征数量几乎相同（2.0 ± 1.3 vs. 1.8 ± 1.3），证实更快收敛并非由于过度剪枝所致。
• 在所有 K 值下，BM 的召回率最高（高达 0.92），表明其在识别真正无关特征方面优于 Lasso 和 ARD。
• 估计器的解析形式表明，BM 通过将相关性检测（通过掩码率）与权重估计解耦，避免了收缩偏差。
• 梯度上升与重参数化的结合显著加速了收敛，如在 β₁–π₁ 平面上的学习轨迹所示。