[论文解读] A priori estimates for classification problems using neural networks

E Weinan, Stephan Wojtowytsch|arXiv (Cornell University)|Sep 28, 2020

Neural Networks and Applications参考文献 13被引用 6

一句话总结

该论文通过引入类似于回归中路径范数的分类复杂度度量，建立了使用两层神经网络进行二分类和多分类的先验误差估计。它利用Barron空间中的Rademacher复杂度和直接逼近定理，推导出考虑不同损失函数（包括具有指数尾部的交叉熵等）的一般化边界，这些损失函数会诱导隐式边界正则化。

ABSTRACT

We consider binary and multi-class classification problems using hypothesis classes of neural networks. For a given hypothesis class, we use Rademacher complexity estimates and direct approximation theorems to obtain a priori error estimates for regularized loss functionals.

研究动机与目标

• 将回归问题中基于神经网络的先验误差估计框架扩展至分类问题。
• 分析在不同损失函数下神经网络的一般化性能，包括平方损失、合页损失和交叉熵损失。
• 引入一种分类复杂度度量，其作用类似于回归中的路径范数，用于捕捉分类难度的内在特性。
• 推导出依赖于数据分布、网络宽度和损失类型的显式一般化边界，尤其针对非唯一最小化器和具有指数尾部的损失。
• 将分析扩展至多标签分类，以及类别支持不具空间分离性的场景。

提出的方法

• 利用路径范数有界的两层神经网络的Rademacher复杂度估计来控制一般化误差。
• 应用Barron函数的直接逼近定理来限制有限宽度网络的逼近误差。
• 提出一种基于分离类别所需最小路径范数的分类复杂度度量，替代回归中使用的路径范数。
• 分析三种损失类型：平方损失（带离散目标）、单边L2/L1损失（合页型）和交叉熵损失（指数尾部），每种损失具有不同的最小化器和正则化特性。
• 通过能量竞争者论证推导先验边界，结合逼近误差和一般化误差项。
• 使用带路径范数惩罚的正则化经验风险泛函，以控制过拟合并推导一般化保证。

实验结果

研究问题

• RQ1 如何将基于神经网络的回归问题先验误差估计框架适配至具有不同损失函数的分类问题？
• RQ2 路径范数在分类中的作用是什么？它如何被重新定义为用于分离类别的复杂度度量？
• RQ3 不同的损失函数（平方损失、合页损失和交叉熵损失）如何影响分类中的一般化误差和最小化器结构？
• RQ4 指数尾部损失（如交叉熵）对先验误差边界有何影响，特别是在隐式正则化和边界最大化方面？
• RQ5 在过参数化情形下，当逼近率 α 较小时，所推导的边界表现如何？

主要发现

• 论文推导出逼近误差的先验误差界为 (max{1,R}²/m)^{α/(2+α)}，其中 α 是目标函数在Barron空间中的逼近率。
• 对于一般化误差，边界按 √(log(2d+2)/n) 和 √(log(1/δ)/n) 缩放，分别反映假设类的复杂度和置信水平。
• 最终的先验估计结合了逼近误差和一般化误差，总误差在最优超参数调优下以 (m)^{-α/(2+α)} 的速率衰减。
• 当 α → 0 时，该边界失去意义，表明逼近率过慢会导致一般化保证较弱。
• 若 α 太小，项 m^{2/(2+α)} n^{-1/2} 在过参数化情形下可能不趋于零，表明宽度与样本量之间存在权衡。
• 分析表明，交叉熵损失会诱导隐式边界正则化，倾向于在所有类别上产生高置信度预测，这在误差估计的对数因子中得以体现。