[论文解读] Adaptive Normalized Risk-Averting Training For Deep Neural Networks

Zhiguang Wang, Tim Oates+1 more|arXiv (Cornell University)|Jun 8, 2015

Advanced Neural Network Applications参考文献 26被引用 5

一句话总结

本文提出自适应归一化风险规避训练（ANRAT），一种用于深度神经网络的新颖优化方法，通过自适应调节凸性指数以提升训练稳定性和泛化能力。通过梯度下降动态调整风险规避误差准则，ANRAT 在无需无监督预训练的情况下，于 MNIST 和 CIFAR-10 上实现了优于或相当标准均方误差（MSE）与交叉熵损失的性能，尤其在深层网络中表现突出。

ABSTRACT

This paper proposes a set of new error criteria and learning approaches, Adaptive Normalized Risk-Averting Training (ANRAT), to attack the non-convex optimization problem in training deep neural networks (DNNs). Theoretically, we demonstrate its effectiveness on global and local convexity lower-bounded by the standard $L_p$-norm error. By analyzing the gradient on the convexity index $λ$, we explain the reason why to learn $λ$ adaptively using gradient descent works. In practice, we show how this method improves training of deep neural networks to solve visual recognition tasks on the MNIST and CIFAR-10 datasets. Without using pretraining or other tricks, we obtain results comparable or superior to those reported in recent literature on the same tasks using standard ConvNets + MSE/cross entropy. Performance on deep/shallow multilayer perceptrons and Denoised Auto-encoders is also explored. ANRAT can be combined with other quasi-Newton training methods, innovative network variants, regularization techniques and other specific tricks in DNNs. Other than unsupervised pretraining, it provides a new perspective to address the non-convex optimization problem in DNNs.

研究动机与目标

• 解决深度神经网络训练中非凸优化问题，且不依赖无监督预训练。
• 开发一种新型误差准则，通过增强凸性特性，引导优化过程趋向更优的局部极小值。
• 通过提升收敛性和泛化能力，为标准损失函数（如 MSE 和交叉熵）提供稳健替代方案，尤其适用于深层架构。
• 证明自适应调节凸性指数可实现优于固定或启发式方法的性能，尤其在非凸优化中。

提出的方法

• 提出一种归一化风险规避误差（NRAE）准则，具备拟凸性和有界性，确保优化过程稳定。
• 通过在误差曲面上对凸性指数 λ 进行梯度下降，实现其自适应调节，从而在训练过程中动态实现凸化。
• 理论分析表明，当 λ ≥ 1 时，NRAE 性能的下界与 Lp-范数误差一致，为其使用提供理论依据。
• 不仅在网络权重上使用反向传播，还在凸性指数 λ 上进行反向传播，实现模型与误差结构的联合优化。
• 与 ReLU、批量归一化及正则化（如 Dropout）等标准深度学习组件结合使用，无需修改网络架构。
• 采用渐进式去凸化策略，避免训练初期出现平台和不稳定梯度。

实验结果

研究问题

• RQ1 在风险规避误差准则中，对凸性指数 λ 的自适应调节能否改善深度神经网络的优化性能？
• RQ2 ANRAT 在无需无监督预训练的深层网络中，是否在测试准确率上优于标准 MSE 和交叉熵损失？
• RQ3 ANRAT 在浅层网络中的表现与标准优化方法相比如何？
• RQ4 ANRAT 能否与 Dropout、批量归一化等现有深度学习技术有效结合？
• RQ5 该方法是否可泛化至不同架构，如多层感知机（MLP）、自编码器和卷积神经网络（ConvNets）？

主要发现

• 在 MNIST 数据集上，ANRAT 在深层 MLP 上实现 1.45% 的测试误差，优于标准 MSE（1.91%），并匹配或超越基于交叉熵的方法。
• 在 CIFAR-10 上，ANRAT 在深层 MLP 上实现 1.45% 的测试误差，显著优于标准 MSE，且接近有监督预训练的性能。
• 对于浅层 MLP，ANRAT 实现 1.94% 的测试误差，略优于 MSE（2.02%），且与 CE（1.93%）无统计学差异。
• 在去噪自编码器中引入高斯块掩码噪声时，ANRAT 显著优于 MSE 和 CE，表明其对复杂噪声模式具有鲁棒性。
• 该方法在深层网络中表现出一致的性能提升，因深层网络中更易陷入次优局部极小值；而在浅层网络中仅获得微小增益，因标准优化已能接近最优解。
• 补充结果表明，ANRAT 性能优于 GDC，在去噪自编码器上与最先进方法相当，尤其在具有挑战性的噪声条件下表现更优。