[论文解读] Classification vs regression in overparameterized regimes: Does the loss function matter?

V. Sai Muthukumar, Adhyyan Narang+4 more|arXiv (Cornell University)|May 16, 2020

Face and Expression Recognition参考文献 59被引用 46

一句话总结

本文表明，在高度过参数化的线性模型中，具有高斯特征，训练损失（hinge、logistic、square）产生相同的插值预测器，而测试损失不同：0-1 损失对分类的泛化良好，即使平方损失对回归的泛化较差。

ABSTRACT

We compare classification and regression tasks in an overparameterized linear model with Gaussian features. On the one hand, we show that with sufficient overparameterization all training points are support vectors: solutions obtained by least-squares minimum-norm interpolation, typically used for regression, are identical to those produced by the hard-margin support vector machine (SVM) that minimizes the hinge loss, typically used for training classifiers. On the other hand, we show that there exist regimes where these interpolating solutions generalize well when evaluated by the 0-1 test loss function, but do not generalize if evaluated by the square loss function, i.e. they approach the null risk. Our results demonstrate the very different roles and properties of loss functions used at the training phase (optimization) and the testing phase (generalization).

研究动机与目标

• 通过线性模型与高斯特征，动机与分析在过参数化下分类与回归的差异。
• 证明在充分的过参数化下，使用 hinge/logistic/square 损失的训练相当于对最小范数插值。
• 研究测试损失的选择（0-1 与平方）如何影响分类与回归的泛化，强调在某些情形下分类泛化良好而回归则不行。
• 提供非渐近分析，将支持向量机与分类任务的最小ℓ2-范数插值器联系起来。

提出的方法

• 以含高参数化的线性预测器及高斯特征建立模型。
• 为二元标签定义插值解（最小ℓ2-范数）和实值输出定义插值解（最小ℓ2-范数）。
• 在充分有效的过参数化下，证明硬间隔 SVM 与最小ℓ2-范数插值的等价性（定理 11）。
• 扩展傅里叶与信号处理的解读，以分析何时插值解在分类与回归中的泛化性（定理 13）。
• 分析集成（各向同性与双层）以研究过参数化与特征谱对泛化的影响。

实验结果

研究问题

• RQ1 过参数化是否会使训练损失（hinge、logistic、square）导出相同的插值预测器？
• RQ2 在过参数化区间，测试损失（0-1 与平方）如何影响分类与回归的泛化？
• RQ3 在哪些条件下硬间隔 SVM 与分类任务的最小ℓ2-范数插值一致？
• RQ4 特征谱与各向异性如何影响分类与回归中插值预测器的泛化？
• RQ5 是否存在某一情形使最小ℓ2-范数插值对分类泛化良好而对回归泛化差？

主要发现

• 在充分过参数化的设置下，每个训练点都成为支持向量，使得 hinge、logistic 与 square 损失产生相同的插值器（对标签的最小ℓ2-范数）。
• 存在某些情形下测试的 0-1 损失对分类的泛化良好，而平方损失在回归中的泛化较差（趋近于空风险）。
• 在强过参数化下，硬间隔 SVM 与最小ℓ2-范数插值器以高概率等价（定理 11）。
• 基于插值的预测器在分类任务中即便使用非 hinge 损失也能泛化，这挑战了在过参数化模型中仅靠边际解释就足以解释泛化的观点。
• 从傅里叶/信号处理的视角将近期的回归分析与分类联系起来，为分类插值器提供非渐近界。
• 该工作揭示了训练阶段损失与测试阶段损失在过参数化情境中的不同角色。