[论文解读] Be Careful What You Backpropagate: A Case For Linear Output Activations & Gradient Boosting

Anders Øland, Aayush Bansal+2 more|arXiv (Cornell University)|Jul 13, 2017

Advanced Neural Network Applications参考文献 18被引用 9

一句话总结

本文主张，在深度神经网络中使用线性输出激活函数而非Softmax，可提升训练收敛速度与泛化性能。通过去除归一化并仅保留指数梯度提升，该方法加速了学习过程——在PASCAL VOC 2012语义分割任务上实现33%更快的收敛速度，同时提升准确率，挑战了Softmax在多分类任务中长期使用的惯例。

ABSTRACT

In this work, we show that saturating output activation functions, such as the softmax, impede learning on a number of standard classification tasks. Moreover, we present results showing that the utility of softmax does not stem from the normalization, as some have speculated. In fact, the normalization makes things worse. Rather, the advantage is in the exponentiation of error gradients. This exponential gradient boosting is shown to speed up convergence and improve generalization. To this end, we demonstrate faster convergence and better performance on diverse classification tasks: image classification using CIFAR-10 and ImageNet, and semantic segmentation using PASCAL VOC 2012. In the latter case, using the state-of-the-art neural network architecture, the model converged 33% faster with our method (roughly two days of training less) than with the standard softmax activation, and with a slightly better performance to boot.

研究动机与目标

• 探究饱和输出激活函数（如Softmax）是否在深层网络中阻碍学习。
• 确定Softmax的优势源于归一化还是指数梯度提升。
• 提出并评估一种简单替代方案：线性输出激活与指数梯度提升（exp-GB）。
• 证明减少误差曲面的非凸性可提升优化效率与模型泛化能力。

提出的方法

• 将标准Softmax输出激活替换为线性输出后接指数梯度提升（exp-GB）。
• 使用恒等函数作为输出激活，避免饱和与归一化。
• 对误差梯度应用指数提升：∇L/∇x = exp(y − t)，其中y为原始输出，t为目标值。
• 与标准Softmax及其他非线性函数（如pow3-GB，立方提升）的训练动态与性能进行对比。
• 利用Hessian矩阵分析误差曲面的二阶性质，以解释更快收敛的原因。
• 在CIFAR-10、ImageNet和PASCAL VOC 2012上训练模型，以实证验证该方法。

实验结果

研究问题

• RQ1 Softmax是否阻碍深层网络的训练收敛与泛化？
• RQ2 Softmax的优势源于归一化还是指数梯度提升？
• RQ3 能否用线性输出与指数梯度提升替代Softmax，以提升训练速度与准确率？
• RQ4 使用exp-GB与Softmax相比，误差曲面的曲率如何变化？
• RQ5 Softmax中的归一化项对梯度幅值与优化动态有何影响？

主要发现

• 在PASCAL VOC 2012语义分割任务上，所提方法相比标准Softmax实现33%更快的收敛速度。
• 采用指数梯度提升的模型性能略优于标准Softmax基线。
• 在10层CIFAR-10模型中，Softmax的归一化项s = ∑i exp(xi)在训练过程中单调增长，最终达到2,342。
• 理论分析表明，exp-GB的Hessian（曲率）大于Softmax，从而在极小值附近实现更快收敛。
• 在保留指数梯度提升的同时去除Softmax归一化，可改善训练动态，且无需额外超参数调优。
• 结果表明，Softmax的主要优势并非来自归一化，而是来自指数梯度提升，后者可加速学习。