[论文解读] MentorNet: Learning Data-Driven Curriculum for Very Deep Neural Networks on Corrupted Labels

Lu Jiang, Zhengyuan Zhou+3 more|arXiv (Cornell University)|Dec 14, 2017

Human Pose and Action Recognition参考文献 31被引用 536

一句话总结

MentorNet 学习一个数据驱动的学习课程来监督 StudentNet 的训练，在对被污染或嘈杂标签训练的极深网络上提升泛化能力，包括大规模的 WebVision 与 ImageNet 实验。

ABSTRACT

Recent deep networks are capable of memorizing the entire data even when the labels are completely random. To overcome the overfitting on corrupted labels, we propose a novel technique of learning another neural network, called MentorNet, to supervise the training of the base deep networks, namely, StudentNet. During training, MentorNet provides a curriculum (sample weighting scheme) for StudentNet to focus on the sample the label of which is probably correct. Unlike the existing curriculum that is usually predefined by human experts, MentorNet learns a data-driven curriculum dynamically with StudentNet. Experimental results demonstrate that our approach can significantly improve the generalization performance of deep networks trained on corrupted training data. Notably, to the best of our knowledge, we achieve the best-published result on WebVision, a large benchmark containing 2.2 million images of real-world noisy labels. The code are at https://github.com/google/mentornet

研究动机与目标

• 阐释深度神经网络记忆化污染标签的问题以及对鲁棒泛化的需求。
• 提出一种数据驱动的课程学习方法，用于在训练期间监督骨干网络。
• 展示该方法对大型深度结构与大规模数据集的可扩展性。
• 在受控与真实世界嘈杂标签上，显示相对于预设课程的经验收益。

提出的方法

• 引入 MentorNet，通过观察 StudentNet 的反馈来学习形成课程的样本权重。
• 与 StudentNet 一同建立联合目标，使 MentorNet 通过一个学习函数 g_m(z_i;Θ) 输出每个样本的权重。
• 允许 MentorNet 逼近预定义课程或从数据中发现数据驱动的课程。
• 使用 SPADE（Scholastic gradient Partial DEScent）在小批量 SGD 中与 MentorNet 共同优化 StudentNet，使并行训练成为可能。
• 提供热身期和在训练中更新 MentorNet 的动态课程。
• 将学习到的课程与通过 M-estimators（Huber、log-sum penalty）对鲁棒目标的解释联系起来。

实验结果

研究问题

• RQ1 一个学习到的数据驱动课程是否可以提高在污染标签上训练的极深网络的泛化能力？
• RQ2 在受控和现实世界嘈杂标签上，联合学习的 MentorNet–StudentNet 框架与预定义课程相比如何？
• RQ3 所提出的训练算法是否对大规模数据集和架构具有可扩展性和收敛性？
• RQ4 学习到的课程对带标签噪声的训练意味着什么样的鲁棒目标？

主要发现

• 在受控污染标签基准测试上，采用带有数据驱动课程的 MentorNet 显著提升了相对于基线训练的验证准确率。
• 所学习的课程（MentorNet DD）在实验中优于自定进度(Self-paced)和焦点损失(Focal Loss)等预定义课程。
• 在大规模 ImageNet 上，40% 嘈杂标签时，MentorNet 在若干基线（包括无正则化和完全正则化模型）之上提升了 P@1 和 P@5。
• 在带有真实世界嘈杂标签的 WebVision 上， MentorNet 在在干净的 ImageNet 和 WebVision 验证集上的评估中显著提升基线方法。
• MentorNet 显示收敛与稳定训练，训练误差趋近于零，同时测试性能对标签噪声保持鲁棒。