[论文解读] Fast Sparse Classification for Generalized Linear and Additive Models

Jiachang Liu, Chudi Zhong+2 more|PubMed|Feb 23, 2022

Statistical Methods and Inference参考文献 4被引用 5

一句话总结

该论文提出了一种基于精确 $\ell_0$ 正则化的快速、可解释的稀疏分类方法，适用于广义线性模型和广义可加模型。该方法引入了激进的代理切割（指数损失下为线性，逻辑损失下为二次），并采用动态优先队列进行特征评估，相较于先前方法实现2–5倍的速度提升，同时在具有数千个特征和观测值的大型相关数据集上，保持了与黑箱模型相当的准确性，训练时间在一分钟以内。

ABSTRACT

We present fast classification techniques for sparse generalized linear and additive models. These techniques can handle thousands of features and thousands of observations in minutes, even in the presence of many highly correlated features. For fast sparse logistic regression, our computational speed-up over other best-subset search techniques owes to linear and quadratic surrogate cuts for the logistic loss that allow us to efficiently screen features for elimination, as well as use of a priority queue that favors a more uniform exploration of features. As an alternative to the logistic loss, we propose the exponential loss, which permits an analytical solution to the line search at each iteration. Our algorithms are generally 2 to 5 times faster than previous approaches. They produce interpretable models that have accuracy comparable to black box models on challenging datasets.

研究动机与目标

• 开发基于 $\ell_0$ 正则化的广义线性模型与广义可加模型的快速、精确稀疏分类方法。
• 处理具有数千个特征和观测值的大型数据集，即使在高特征相关性下亦能有效处理。
• 在保持模型准确性与黑箱模型相当的前提下，实现训练时间低于一分钟。
• 通过更优的代理优化和动态特征排序，提升现有最优子集搜索方法的计算效率。
• 证明指数损失可实现解析线搜索，从而在不损失概率可解释性的情况下加速收敛。

提出的方法

• 针对 $\lambda_2 = 0$ 时的指数损失，提出一种线性切割平面方法，实现对无希望特征添加的高效剪枝。
• 针对 $\ell_2$ 正则化（$\lambda_2 > 0$）下的逻辑损失，引入二次切割，实现更紧的下界估计并加快收敛速度。
• 采用优先队列动态优先评估特征，优先选择更可能提升模型性能的特征，减少冗余计算。
• 对指数损失使用解析线搜索，避免迭代优化，加速坐标下降步长。
• 通过在每个观测值处进行阈值化处理，将连续特征转换为指示变量，以支持广义可加建模。
• 以精确的 $\ell_0$ 稀疏性替代 $\ell_1$ 正则化，避免偏差并生成真正稀疏、可解释的模型。

实验结果

研究问题

• RQ1 我们能否在具有高维特征和特征相关性的大型数据集上，于一分钟内实现 $\ell_0$ 正则化的精确稀疏分类？
• RQ2 使用指数损失而非逻辑损失，是否因坐标下降中的解析线搜索而实现更快收敛？
• RQ3 激进的代理切割（线性或二次）是否能显著缩小搜索空间并提升最优子集选择的计算效率？
• RQ4 通过优先队列实现的动态特征排序，对稀疏模型搜索的收敛速度和解质量有何影响？
• RQ5 所提出的方法能否在保持可解释性与高速性能的同时，生成与黑箱模型精度相当的模型？

主要发现

• 在真实世界数据集（FICO 和 NETHERLANDS）上，所提方法的训练时间仅为 2.73 至 7.2 秒，显著快于先前方法。
• 指数损失支持解析线搜索，降低每轮迭代的计算成本，尤其在 $\lambda_2 = 0$ 时显著加速收敛。
• 采用线性切割平面（指数损失）和二次切割（$\ell_2$ 正则化下的逻辑损失）可高效剪枝无希望的特征方向。
• 通过优先队列实现的动态特征排序减少了不必要的评估，提升了搜索效率，是整体加速的关键因素。
• 使用所提方法训练的模型在测试精度上与黑箱模型相当，同时通过稀疏、阈值化的特征表示保持完全可解释性。
• 即使在具有数千个特征和高相关性的数据集上，该方法在速度上仍比现有最优子集求解器快 2 至 5 倍。