[论文解读] A Model of Double Descent for High-dimensional Binary Linear Classification

Zeyu Deng, Abla Kammoun+1 more|arXiv (Cornell University)|Nov 13, 2019

Sparse and Compressive Sensing Techniques参考文献 57被引用 19

一句话总结

本文针对高维二分类线性模型中基于逻辑斯蒂损失的梯度下降方法，构建了一个理论模型以解释双下降现象。研究识别出在过参数化比率 $κ_\star$ 处存在一个相变点，此时梯度下降收敛于最大似然解或最大间隔（SVM）解。通过凸高斯极小极大定理（CGMT）对分类误差进行精确刻画，揭示了当 $κ$ 超过 $κ_\star$ 后，泛化性能呈现双下降曲线。该研究将先前在线性回归中的发现拓展至分类问题，并在具有高斯特征的逻辑斯蒂模型中验证了该现象。

ABSTRACT

We consider a model for logistic regression where only a subset of features of size $p$ is used for training a linear classifier over $n$ training samples. The classifier is obtained by running gradient descent (GD) on logistic loss. For this model, we investigate the dependence of the classification error on the overparameterization ratio $κ=p/n$. First, building on known deterministic results on the implicit bias of GD, we uncover a phase-transition phenomenon for the case of Gaussian features: the classification error of GD is the same as that of the maximum-likelihood (ML) solution when $κκ_\star$. Next, using the convex Gaussian min-max theorem (CGMT), we sharply characterize the performance of both the ML and the SVM solutions. Combining these results, we obtain curves that explicitly characterize the classification error for varying values of $κ$. The numerical results validate the theoretical predictions and unveil double-descent phenomena that complement similar recent findings in linear regression settings as well as empirical observations in more complex learning scenarios.

研究动机与目标

• 理解在高维二分类线性模型中，基于逻辑斯蒂损失的梯度下降方法的泛化误差。
• 识别梯度下降隐式偏差从最大似然解向最大间隔（SVM）解转变的过参数化阈值 $κ_\star$。
• 利用凸高斯极小极大定理（CGMT）刻画过参数化比率 $κ = p/n$ 的分类误差。
• 建立在逻辑斯蒂分类中双下降现象发生的条件，从而将先前在线性回归中的发现推广至分类问题。

提出的方法

• 作者采用逻辑斯蒂模型和具有 $p$ 个特征、$n$ 个训练样本的高斯混合模型（GM）对二分类问题进行建模。
• 分析逻辑斯蒂损失上的梯度下降，并利用已知的隐式偏差结果，表明当 $κ < \kappa_\star$ 时收敛于最大似然（ML）解，当 $κ > \kappa_\star$ 时收敛于最大间隔（SVM）解。
• 通过凸高斯极小极大定理（CGMT）对 ML 和 SVM 解的分类性能进行精确刻画，该方法可实现高维随机矩阵设定下优化问题的渐近分析。
• 推导出一个相变阈值 $κ_\star \in (0, 1/2)$，使得当且仅当 $κ > \kappa_\star$ 时数据可分（从而 GD 收敛于 SVM 解）。
• 将 CGMT 框架扩展至处理可行性问题和有界性假设，实现了几乎必然收敛结果而非概率性结果。
• 通过数值模拟验证理论预测，包括在不同 $κ$ 值下风险和余弦相似度曲线的表现。

实验结果

研究问题

• RQ1 在过参数化比率 $\kappa = p/n$ 为何值时，逻辑斯蒂损失上梯度下降的隐式偏差会从最大似然解转变为最大间隔解？
• RQ2 在具有高斯特征的高维二分类线性模型中，分类误差如何随 $\kappa$ 变化而变化？
• RQ3 能否利用凸高斯极小极大定理（CGMT）在逻辑斯蒂分类中严格刻画双下降现象？
• RQ4 区分 ML 与 SVM 解在泛化误差表现上所对应的精确阈值 $\kappa_\star$ 是什么？
• RQ5 理论预测的风险与余弦相似度与实际模拟结果的吻合程度如何？

主要发现

• 当 $\kappa < \kappa_\star$ 时，梯度下降在逻辑斯蒂损失上的分类误差与最大似然（ML）解一致；当 $\kappa > \kappa_\star$ 时，误差与最大间隔（SVM）解一致，其中 $\kappa_\star \in (0, 1/2)$。
• 随着 $\kappa$ 增加，泛化误差表现出双下降曲线：误差先减小，随后在 $\kappa_\star$ 之后上升，最终在过参数化区域再次下降。
• 凸高斯极小极大定理（CGMT）对 ML 和 SVM 解的分类误差提供了精确的渐近刻画，从而能够精确预测风险曲线。
• 数值模拟验证了理论预测，显示在不同 $\kappa$ 和信噪比下，模拟风险与理论曲线高度一致。
• 作者建立了解范数几乎必然收敛至确定性极限的结果，将 CGMT 的适用范围从概率收敛扩展至更广的场景。
• 本文对 CGMT 进行了新扩展，使其能够处理可行性分析并去除有界性假设，为未来基于优化的推断算法研究提供了系统性框架。