[论文解读] Learning Anytime Predictions in Neural Networks via Adaptive Loss Balancing

Hanzhang Hu, Debadeepta Dey+2 more|arXiv (Cornell University)|Aug 22, 2017

Adversarial Robustness in Machine Learning参考文献 42被引用 14

一句话总结

本文提出AdaLoss，一种通过在训练过程中自适应平衡辅助损失来训练任意时间神经网络（ANNs）的方法，其中损失权重与每种损失的经验均值成反比。该方法使小型ANNs在固定权重下达到或超越大型模型的准确率，在多个视觉数据集上实现具有竞争力的早期和最终预测结果，尤其在性能饱和时表现优异。

ABSTRACT

This work considers the trade-off between accuracy and test-time computational cost of deep neural networks (DNNs) via \emph{anytime} predictions from auxiliary predictions. Specifically, we optimize auxiliary losses jointly in an \emph{adaptive} weighted sum, where the weights are inversely proportional to average of each loss. Intuitively, this balances the losses to have the same scale. We demonstrate theoretical considerations that motivate this approach from multiple viewpoints, including connecting it to optimizing the geometric mean of the expectation of each loss, an objective that ignores the scale of losses. Experimentally, the adaptive weights induce more competitive anytime predictions on multiple recognition data-sets and models than non-adaptive approaches including weighing all losses equally. In particular, anytime neural networks (ANNs) can achieve the same accuracy faster using adaptive weights on a small network than using static constant weights on a large one. For problems with high performance saturation, we also show a sequence of exponentially deepening ANNscan achieve near-optimal anytime results at any budget, at the cost of a const fraction of extra computation.

研究动机与目标

• 解决深度神经网络中推理时间计算成本与预测准确率之间的权衡问题。
• 通过以平衡早期和最终预测的方式优化辅助损失，提升任意时间预测性能。
• 开发一种训练策略，使小型ANNs在性能上可与使用非自适应权重的大型模型相媲美。
• 为自适应损失加权提供理论依据，使其对各类损失的相对改进一视同仁。
• 证明自适应权重可自动适应数据集难度，使更难的任务更倾向于依赖后期层。

提出的方法

• 在训练过程中使用自适应加权的辅助损失和，其中每个损失的权重与其在训练集上的经验均值成反比。
• 这种归一化确保所有损失处于可比较的尺度，防止任一损失主导优化过程。
• 该方法在理论上等价于最大化期望损失的几何平均值，从而对各类损失的相对改进一视同仁。
• 同时基于对数障碍正则化的最大似然估计理论基础，避免出现平凡的零权重解。
• 通过在标准DNN架构的中间层附加辅助预测和损失，将方法应用于标准DNN架构，形成ANNs。
• 该框架支持独立的ANNs和基于集成的任意时间网络（EANNs），其中深度呈指数增长的网络被组合使用。

实验结果

研究问题

• RQ1 自适应损失加权是否能在不同计算预算下提升任意时间神经网络的性能？
• RQ2 与静态常数加权相比，自适应损失平衡在早期和最终预测准确率上的表现如何？
• RQ3 使用自适应权重的小型ANNs能否超越使用非自适应权重的大型ANNs？
• RQ4 自适应加权方案是否能自动适应数据集难度，使更难的数据集更倾向于依赖最终层？
• RQ5 所提出的方法是否可与集成策略结合，进一步提升任意时间预测性能？

主要发现

• 使用AdaLoss训练的小型ANNs在达到最终准确率方面与使用非自适应权重的大规模ANNs相当，但能更快达到各准确率水平。
• 在CIFAR-100上，使用AdaLoss的小型ANN优于使用常数权重的大规模ANN，展现出在早期和最终预测中均更优的效率。
• AdaLoss使小型DenseANN169在相似FLOPS下达到与更大规模MSDNet38相当的最终误差率，显示出更高的成本效率。
• 在ILSVRC上，使用AdaLoss的EANN结合ResANNs优于线性集成的ResNets和DenseNets，且与最先进的MSDNet性能差距进一步缩小。
• 学习到的AdaLoss权重在更难的数据集（如CIFAR-100）上更集中于最终层，在更简单数据集（如SVHN）上则更分散，表明其能自动适应数据难度。
• 当性能达到饱和时，使用AdaLoss的EANNs虽延迟最终预测，但性能仍接近最优，表明在该区域具有战略优势。