[论文解读] Learning Sparse Classifiers: Continuous and Mixed Integer Optimization Perspectives

Antoine Dedieu, Hussein Hazimeh+1 more|arXiv (Cornell University)|Jan 17, 2020

Sparse and Compressive Sensing Techniques被引用 12

一句话总结

本文提出了基于混合整数规划（MIP）的可扩展算法，用于通过 $\mu$-正则化优化学习稀疏分类器，引入了一种精确的整数性生成方法以及近似的坐标下降/局部搜索技术。该方法在几分钟内即可实现 $p \approx 50,000$ 个特征的最优或近似最优解，对于 $p \approx 10^6$ 个特征的规模，运行时间与 $\ell_1$ 方法相当，并在真实和合成数据上实现了更优的变量选择与统计性能。

ABSTRACT

We consider a discrete optimization formulation for learning sparse classifiers, where the outcome depends upon a linear combination of a small subset of features. Recent work has shown that mixed integer programming (MIP) can be used to solve (to optimality) $\\ell_0$-regularized regression problems at scales much larger than what was conventionally considered possible. Despite their usefulness, MIP-based global optimization approaches are significantly slower compared to the relatively mature algorithms for $\\ell_1$-regularization and heuristics for nonconvex regularized problems. We aim to bridge this gap in computation times by developing new MIP-based algorithms for $\\ell_0$-regularized classification. We propose two classes of scalable algorithms: an exact algorithm that can handle $p\\approx 50,000$ features in a few minutes, and approximate algorithms that can address instances with $p\\approx 10^6$ in times comparable to the fast $\\ell_1$-based algorithms. Our exact algorithm is based on the novel idea of \ extsl{integrality generation}, which solves the original problem (with $p$ binary variables) via a sequence of mixed integer programs that involve a small number of binary variables. Our approximate algorithms are based on coordinate descent and local combinatorial search. In addition, we present new estimation error bounds for a class of $\\ell_0$-regularized estimators. Experiments on real and synthetic data demonstrate that our approach leads to models with considerably improved statistical performance (especially, variable selection) when compared to competing methods.

研究动机与目标

• 为解决混合整数规划（MIP）在 $\ell_0$-正则化分类中的计算瓶颈问题，尽管其能提供全局最优解，但相比 $\ell_1$ 方法速度较慢。
• 开发可扩展的精确与近似算法，高效求解高维特征空间（$p \approx 50,000$ 至 $10^6$）下的 $\ell_0$-正则化分类问题。
• 通过在统一优化框架中结合 $\ell_0$ 稀疏性与连续 $\ell_q$（$q=1,2$）正则化，提升模型稳定性与变量选择性能。
• 在高维设置下，为一类 $\ell_0$-正则化估计器建立理论估计误差界。

提出的方法

• 提出一种基于整数性生成的精确算法，通过一系列仅含少量二值变量的小型 MIP 问题，求解原始的 $p$-二值变量 MIP 问题。
• 开发基于坐标下降与局部组合搜索的近似算法，使方法可扩展至 $p \approx 10^6$ 个特征，且运行时间与 $\ell_1$ 方法相当。
• 提出一种混合正则化框架，结合 $\ell_0$ 与 $\ell_q$（$q=1,2$）惩罚项，以增强模型稳定性和变量选择能力。
• 采用带强对偶界约束的分支定界 MIP 框架，确保非凸 $\ell_0$-正则化问题的最优性证书。
• 在高维抽样假设下，推导理论估计误差界，表明收敛速率依赖于稀疏度 $k$、样本量 $n$ 与特征维度 $p$。
• 采用新颖的对偶证书方法，证明 MIP 公式解满足最优性的充分条件。

实验结果

研究问题

• RQ1 能否使基于 MIP 的方法足够可扩展，实现在 $p \approx 50,000$ 个特征下几分钟内求解 $\ell_0$-正则化分类问题？
• RQ2 近似 MIP 算法能否在保持高统计性能的同时，实现与快速 $\ell_1$ 方法相当的求解时间？
• RQ3 将 $\ell_0$ 稀疏性与连续 $\ell_q$ 正则化（$q=1,2$）结合，是否能带来优于 $\ell_1$ 或纯 $\ell_0$ 方法的变量选择效果与更低的估计误差？
• RQ4 在高维设置下，当数据存在噪声或信噪比较低时，$\ell_0$-正则化估计器的理论估计误差界是什么？

主要发现

• 精确整数性生成算法可在几分钟内求解 $p \approx 50,000$ 个特征的 $\ell_0$-正则化分类问题，实现全局最优。
• 基于坐标下降与局部搜索的近似算法可扩展至 $p \approx 10^6$ 个特征，且运行时间与 $\ell_1$ 方法相当。
• 在真实与合成数据集上，所提出的 $\ell_0$-基模型在变量选择与 AUC 表现上显著优于 $\ell_1$-正则化逻辑回归。
• 理论分析表明，$\ell_0$-正则化估计器的估计误差以 $O\left(\frac{k \log(p/k)}{n}\right)$ 的速率衰减，与稀疏性条件下的最优速率一致。
• 误差界依赖于限制特征值条件 $\kappa(k)$，当设计矩阵满足强无偏性或特征值条件时，可获得更紧的误差界。
• 实证结果表明，$\ell_0$-$\ell_2$ 与 $\ell_0$-$\ell_1$ 正则化模型在 Arcene、Dorothea、Dexter 等多个数据集上，于 AUC 与支持集大小的权衡方面，始终优于 $\ell_1$ 对应模型。