[论文解读] Best-Subset Selection in Generalized Linear Models: A Fast and Consistent Algorithm via Splicing Technique

Junxian Zhu, Jin Zhu+4 more|arXiv (Cornell University)|Aug 1, 2023

Bayesian Modeling and Causal InferenceComputer Science被引用 3

一句话总结

本文提出 ABESS，一种基于剪枝技术的快速且一致的广义线性模型（GLMs）最优子集选择算法，可避免穷举搜索。该算法在温和条件下实现多项式时间复杂度与精确支持恢复，相较于现有方法在计算速度与统计精度方面表现更优，相较于 glmnet 和 ncvreg 最快可实现四倍加速。

ABSTRACT

In high-dimensional generalized linear models, it is crucial to identify a sparse model that adequately accounts for response variation. Although the best subset section has been widely regarded as the Holy Grail of problems of this type, achieving either computational efficiency or statistical guarantees is challenging. In this article, we intend to surmount this obstacle by utilizing a fast algorithm to select the best subset with high certainty. We proposed and illustrated an algorithm for best subset recovery in regularity conditions. Under mild conditions, the computational complexity of our algorithm scales polynomially with sample size and dimension. In addition to demonstrating the statistical properties of our method, extensive numerical experiments reveal that it outperforms existing methods for variable selection and coefficient estimation. The runtime analysis shows that our implementation achieves approximately a fourfold speedup compared to popular variable selection toolkits like glmnet and ncvreg.

研究动机与目标

• 解决高维广义线性模型中最优子集选择的计算不可行性与统计不一致性问题。
• 开发一种算法，在温和正则性条件下实现多项式时间复杂度下的精确支持恢复。
• 在变量选择准确率与系数估计方面，超越现有的基于松弛的方法（如 LASSO、SCAD、MCP）。
• 为广义线性模型（包括逻辑回归与泊松回归）建立支持恢复一致性和计算效率的理论保证。
• 提供一种实用的开源实现（abess），适用于真实世界的数据科学应用。

提出的方法

• ABESS 算法使用剪枝技术，通过合并与修剪变量集，迭代构建候选子集，避免对所有可能子集的完全枚举。
• 采用基于 Karush-Kuhn-Tucker（KKT）条件的筛选规则，尽早识别并剔除无关变量。
• 算法在顺序前向选择框架下运行，并结合动态剪枝策略，确保计算效率。
• 理论分析表明，在温和正则性条件下（包括次高斯尾部假设），该算法以高概率实现支持恢复一致性。
• 计算复杂度随样本量 $ n $ 和维度 $ p $ 呈多项式增长，如定理 3 所证明。
• 该方法通过开源 abess 包在 R 和 Python 中实现，确保广泛可复现性与实际应用。

实验结果

研究问题

• RQ1 广义线性模型的最优子集选择算法是否能在高维设置下同时实现计算效率与统计一致性？
• RQ2 基于剪枝的方法是否能在非高斯响应分布下实现精确支持恢复与多项式时间复杂度？
• RQ3 与基于松弛的方法（如 LASSO、SCAD、MCP）相比，所提出的 ABESS 算法在变量选择准确率与估计误差方面表现如何？
• RQ4 ABESS 在不同相关结构下的实际运行时间性能，相较于 glmnet 与 ncvreg 等先进工具包表现如何？
• RQ5 ABESS 的理论保证能否扩展至非次高斯响应族（如泊松或二项分布 GLMs）？

主要发现

• ABESS 以高概率实现精确支持恢复，表现为当 $ n \to \infty $ 时 $ \text{Pr}(\tilde{\bm{\beta}} = \bm{\beta}^*) \to 1 $，即使在恒定相关结构下亦成立。
• 在运行时间上，ABESS 相较于 glmnet 与 ncvreg 实现四倍加速，尤其在逻辑回归与泊松回归场景下表现显著。
• 当 $ n = 3000 $ 时，ABESS 在所有方法中达到最高的精确选择概率 $ \text{Pr}(\tilde{\bm{\beta}} = \bm{\beta}^*) $，优于 LASSO、SCAD 与 MCP。
• ABESS 的 $ \tilde{L}_2 $-范数估计误差（ReErr）在所有样本量下均保持最低，表明其系数估计精度更优。
• 理论分析证实，在次高斯尾部假设下，ABESS 具备多项式时间复杂度与支持恢复一致性，其适用范围超越次高斯模型。
• 实证结果表明，ABESS 在多种相关结构（独立与恒定相关）下均保持优异性能，而对比方法在高相关性下性能显著下降。