[论文解读] Avoiding overfitting of multilayer perceptrons by training derivatives

Vsevolod I. Avrutskiy|arXiv (Cornell University)|Feb 28, 2018

Neural Networks and Applications参考文献 19被引用 3

一句话总结

本文提出了一种扩展的反向传播方法，通过使用目标函数高达四阶的导数来训练多层感知机，显著减少了过拟合。通过在训练过程中同时最小化函数值及其导数，该方法在大型网络中实现了1.5的测试-训练成本比，相较于经典反向传播的2×10⁴，即使在训练网格稀疏的情况下也表现优异。

ABSTRACT

Resistance to overfitting is observed for neural networks trained with extended backpropagation algorithm. In addition to target values, its cost function uses derivatives of those up to the $4^{\mathrm{th}}$ order. For common applications of neural networks, high order derivatives are not readily available, so simpler cases are considered: training network to approximate analytical function inside 2D and 5D domains and solving Poisson equation inside a 2D circle. For function approximation, the cost is a sum of squared differences between output and target as well as their derivatives with respect to the input. Differential equations are usually solved by putting a multilayer perceptron in place of unknown function and training its weights, so that equation holds within some margin of error. Commonly used cost is the equation's residual squared. Added terms are squared derivatives of said residual with respect to the independent variables. To investigate overfitting, the cost is minimized for points of regular grids with various spacing, and its root mean is compared with its value on much denser test set. Fully connected perceptrons with six hidden layers and $2\cdot10^{4}$, $1\cdot10^{6}$ and $5\cdot10^{6}$ weights in total are trained with Rprop until cost changes by less than 10% for last 1000 epochs, or when the $10000^{\mathrm{th}}$ epoch is reached. Training the network with $5\cdot10^{6}$ weights to represent simple 2D function using 10 points with 8 extra derivatives in each produces cost test to train ratio of $1.5$, whereas for classical backpropagation in comparable conditions this ratio is $2\cdot10^{4}$.

研究动机与目标

• 通过在训练过程中引入高阶导数，解决多层感知机中的过拟合问题。
• 探究在训练数据稀疏的情况下，训练导数是否能提升泛化性能，超越经典反向传播。
• 评估网络容量（最高达5×10⁶个权重）在包含导数时对过拟合的影响。
• 在二维和五维域中进行函数逼近，以及使用导数信息训练求解二维泊松方程，比较性能表现。

提出的方法

• 将代价函数扩展，包含网络输出与目标函数之间、以及其相对于输入的高达四阶导数之间的平方差。
• 使用Rprop优化算法，直到最近1000个周期内代价变化小于10%，或达到10,000个周期为止。
• 在不同间距的规则网格上，将该方法应用于二维和五维函数逼近，以及二维泊松方程求解。
• 通过在密集测试集上计算代价的均方根与粗糙训练网格的对比，评估测试集与训练集的性能表现。
• 当解析导数不可用时，通过有限差分格式近似导数，尤其适用于一阶导数。
• 通过测试平均代价与训练平均代价的比值来评估过拟合程度，比值越低表示泛化性能越好。

实验结果

研究问题

• RQ1 在多层感知机中，训练目标函数的高阶导数是否能减少过拟合？
• RQ2 与经典反向传播相比，包含高达四阶导数的训练如何影响测试-训练代价比？
• RQ3 随着网络规模增大（最高达5×10⁶个参数）且训练数据变得稀疏时，导数训练的优势是否会减弱或持续存在？
• RQ4 导数之间的协同作用在函数逼近和PDE求解任务中，能在多大程度上提升泛化性能？
• RQ5 在包含导数的情况下，过拟合比值在不同输入维度（二维与五维）和不同问题类型（函数逼近与PDE求解）下如何变化？

主要发现

• 在2D函数逼近任务中，使用10个训练点和每个点8个导数项时，测试-训练代价比为1.5，而经典反向传播为2×10⁴。
• 当网络权重达到5×10⁶时，即使仅使用11个训练点求解2D泊松方程，过拟合比值仍保持在1.03以下（对数≤0.03）。
• 随着训练导数的最大阶数提高，测试-训练代价比显著降低，高阶导数训练提升了泛化性能。
• 即使在极端稀疏的训练网格下（例如2D中仅11个点），使用导数训练的网络其测试与训练精度差异也控制在8%以内。
• 该方法在所有测试的网络规模（从2×10⁴到5×10⁶个权重）下均保持低过拟合水平，表明对模型容量具有鲁棒性。
• 观察到的过拟合减少归因于高阶逼近能力以及导数之间的协同作用，后者增强了低阶项的精度。