[论文解读] Deep Bilevel Learning

Simon Jenni, Paolo Favaro|Bern Open Repository and Information System (University of Bern)|Sep 5, 2018

Domain Adaptation and Few-Shot Learning参考文献 29被引用 4

一句话总结

本文提出深度双层学习（Deep Bilevel Learning），一种新颖的正则化方法，将神经网络训练建模为双层优化问题，以提升泛化性能。通过根据验证集表现动态调整小批量样本的权重，该方法显著增强了泛化能力，尤其在标签噪声较大的情况下，优于标准SGD，在CIFAR-10/100、ImageNet和Pascal VOC等多个模型架构与数据集上表现更优。

ABSTRACT

We present a novel regularization approach to train neural networks that enjoys better generalization and test error than standard stochastic gradient descent. Our approach is based on the principles of cross-validation, where a validation set is used to limit the model overfitting. We formulate such principles as a bilevel optimization problem. This formulation allows us to define the optimization of a cost on the validation set subject to another optimization on the training set. The overfitting is controlled by introducing weights on each mini-batch in the training set and by choosing their values so that they minimize the error on the validation set. In practice, these weights define mini-batch learning rates in a gradient descent update equation that favor gradients with better generalization capabilities. Because of its simplicity, this approach can be integrated with other regularization methods and training schemes. We evaluate extensively our proposed algorithm on several neural network architectures and datasets, and find that it consistently improves the generalization of the model, especially when labels are noisy.

研究动机与目标

• 为解决尽管已有正则化技术，深度神经网络在标签噪声环境下仍持续存在过拟合的问题。
• 通过将交叉验证原理直接整合到训练过程中，提升模型泛化能力。
• 开发一种计算高效、即插即用的正则化方法，兼容标准训练流程。
• 通过自适应学习率调整，缩小小样本与噪声数据场景下的泛化差距。

提出的方法

• 将训练过程建模为双层优化问题：上层优化验证误差，下层优化训练损失。
• 为每个小批量引入标量权重，以控制梯度更新，优先选择与验证集梯度一致的小批量。
• 通过二次函数近似上层目标，推导出类似SGD的闭式更新公式，实现计算效率。
• 利用训练集与验证集梯度的一致性来调整小批量的重要性——一致性越高，权重越大。
• 将小批量权重视为超参数，通过交叉验证进行优化，实现模型与正则化参数的端到端联合优化。
• 可与其它正则化技术（如数据增强、Dropout、标签平滑）结合使用。

实验结果

研究问题

• RQ1 双层优化是否能在标准SGD之外进一步提升深度神经网络的泛化性能，尤其是在标签噪声较大的情况下？
• RQ2 在基准数据集上，该方法与当前最先进的正则化及抗噪声训练方法相比表现如何？
• RQ3 双层学习在小样本设置与高标签噪声条件下，能在多大程度上减少过拟合？
• RQ4 当与现有正则化技术结合时，该方法是否仍能保持性能优势？

主要发现

• 在CIFAR-10和CIFAR-100数据集上，当标签噪声高达50%时，深度双层学习在测试准确率上显著优于标准SGD，尤其在CIFAR-100上噪声达50%时，准确率提升最高达5%。
• 在ImageNet数据集上，采用基于预训练网络预测结果构建的44%真实标签噪声模型，该方法将Top-1准确率提升近2%（52.69% vs. 50.75%），优于标准SGD。
• 在Clothing1M数据集上，仅使用噪声数据训练时，该方法达到69.9%的测试准确率，与当前最先进方法相当；在干净数据上微调后，准确率进一步提升至79.9%。
• 在Pascal VOC 2007数据集上，当训练数据减少时，该方法在所有测试数据比例下均持续提升mAP并缩小泛化差距。
• 当与Zhang等人[38]提出的数据增强方法结合时，该方法在CIFAR-10和CIFAR-100上均取得最佳性能，超越此前最先进方法。
• 该方法在多种架构（包括ResNet、Inception和AlexNet）上表现稳健，并在与Dropout和标签平滑结合时仍保持性能增益。