[论文解读] Neither Quick Nor Proper -- Evaluation of QuickProp for Learning Deep Neural Networks

Clemens-Alexander Brust, Sven Sickert+3 more|arXiv (Cornell University)|Jun 14, 2016

Advanced Neural Network Applications参考文献 18被引用 6

一句话总结

本文评估了QuickProp这一二阶优化算法在语义分割任务中训练深度卷积神经网络的表现。尽管其理论上具有更快收敛的潜力，但实验结果表明，QuickProp在真实世界数据集上的训练损失和测试性能始终逊于标准梯度下降，尤其在模型复杂度增加时表现更差，因此结论是：QuickProp在未经重大改进的情况下不适用于现代深度学习架构。

ABSTRACT

Neural networks and especially convolutional neural networks are of great interest in current computer vision research. However, many techniques, extensions, and modifications have been published in the past, which are not yet used by current approaches. In this paper, we study the application of a method called QuickProp for training of deep neural networks. In particular, we apply QuickProp during learning and testing of fully convolutional networks for the task of semantic segmentation. We compare QuickProp empirically with gradient descent, which is the current standard method. Experiments suggest that QuickProp can not compete with standard gradient descent techniques for complex computer vision tasks like semantic segmentation.

研究动机与目标

• 评估QuickProp这一二阶优化方法在语义分割任务中训练深度卷积神经网络的表现。
• 比较QuickProp与标准梯度下降在训练损失和测试准确率方面的性能差异。
• 研究网络复杂度（滤波器数量和深度）对QuickProp与梯度下降相对性能的影响。
• 确定QuickProp在实际计算机视觉应用中是否能实现更好的泛化能力或更快的收敛速度。

提出的方法

• QuickProp对每个权重独立使用损失函数的二次逼近，通过简化的海森矩阵近似估计最优步长。
• 该算法利用当前和前一时刻的梯度值计算权重更新，采用乘法更新规则，而非梯度下降中的加法更新。
• 实验在LabelMeFacade数据集上进行，采用具有受控架构变化的全卷积网络。
• 通过调整卷积层中的滤波器数量以及堆叠相同的全连接层来调节网络复杂度。
• 训练持续100个周期，重复多次以评估统计显著性，并比较QuickProp与梯度下降的结果。
• 通过一个小型实验在真实世界评估前验证QuickProp在受控条件下的行为。

实验结果

研究问题

• RQ1 QuickProp能否在语义分割任务中对深度卷积神经网络的训练表现优于标准梯度下降？
• RQ2 随着网络复杂度的提升（如滤波器数量或层数增加），QuickProp的性能如何变化？
• RQ3 在实际计算机视觉任务中，QuickProp是否能实现比梯度下降更好的泛化能力或更快的收敛速度？
• RQ4 QuickProp中二阶优化的理论优势是否对现代深度学习架构具有实际益处？

主要发现

• 在所有测试的网络规模和架构中，QuickProp的训练损失始终高于梯度下降。
• 当滤波器数量增加时，QuickProp与梯度下降之间的性能差距进一步扩大，表明QuickProp的可扩展性更差。
• 通过重复堆叠全连接层增加网络层数时，QuickProp的性能进一步下降，损失上升并在深层网络中趋于稳定。
• 尽管在小型实验中表现出轻微的泛化优势，但QuickProp在真实世界LabelMeFacade数据集上的泛化能力仍不及梯度下降。
• 结果表明，QuickProp不适用于现代计算机视觉中使用的深度神经网络，尤其在模型复杂度增加时。
• 本研究结论认为，除非进行重大改进，否则不建议在实际中用QuickProp替代标准优化方法（如梯度下降）。