[论文解读] ScreenerNet: Learning Self-Paced Curriculum for Deep Neural Networks

Taehoon Kim, Jonghyun Choi|arXiv (Cornell University)|Jan 3, 2018

Adversarial Robustness in Machine Learning参考文献 16被引用 21

一句话总结

ScreenerNet 提出了一种端到端的、自 paced 的课程学习框架，通过一个可附加的神经网络，根据训练难度动态分配样本权重，从而在监督视觉任务和深度强化学习中实现更快的收敛速度和更高的准确率。该方法优于最先进的方法（如优先经验回放），并通过学习软性、可微分的权重避免了采样偏差，且无需记忆历史损失值。

ABSTRACT

We propose to learn a curriculum or a syllabus for supervised learning and deep reinforcement learning with deep neural networks by an attachable deep neural network, called ScreenerNet. Specifically, we learn a weight for each sample by jointly training the ScreenerNet and the main network in an end-to-end self-paced fashion. The ScreenerNet neither has sampling bias nor requires to remember the past learning history. We show the networks augmented with the ScreenerNet achieve early convergence with better accuracy than the state-of-the-art curricular learning methods in extensive experiments using three popular vision datasets such as MNIST, CIFAR10 and Pascal VOC2012, and a Cart-pole task using Deep Q-learning. Moreover, the ScreenerNet can extend other curriculum learning methods such as Prioritized Experience Replay (PER) for further accuracy improvement.

研究动机与目标

• 解决硬性决策课程学习的局限性，例如采样偏差以及对人工设计规则进行样本选择的依赖。
• 在监督学习和深度强化学习中，实现深度神经网络的更快、更准确的训练。
• 消除对记忆历史损失值或运行多次训练迭代以估计样本重要性的需求。
• 开发一种可泛化的、端到端可训练的框架，可与现有的课程学习方法（如优先经验回放）结合使用。
• 为需要增量模型更新的实际应用提供一种轻量级、非记忆型误差估计器。

提出的方法

• ScreenerNet 是一个辅助神经网络，与主网络以端到端方式联合训练，用于预测每个训练样本的重要性（权重）。
• 重要性定义为样本提升主网络性能的可能性，难度较高的样本获得更高的权重。
• 该方法采用自 paced 学习目标，鼓励模型在每个训练步骤中聚焦于具有高学习潜力的样本。
• 样本权重通过 ScreenerNet 中的可微回归头学习，该头估计主网络正确分类的概率。
• 该框架避免记忆历史损失值，且无需第二次训练运行，与先前方法不同。
• 探索了 ScreenerNet 与主网络之间的参数共享，但发现其会降低性能，表明 ScreenerNet 学习的是一个独特且互补的目标。

实验结果

研究问题

• RQ1 可学习的、可微分的样本加权机制是否能提升深度神经网络的训练速度和准确率？
• RQ2 通过 ScreenerNet 端到端学习的自 paced 课程与人工设计或基于记忆的课程方法相比如何？
• RQ3 ScreenerNet 是否能与现有的基于采样的方法（如优先经验回放）有效结合，以进一步提升性能？
• RQ4 与固定或启发式课程策略相比，ScreenerNet 的动态加权是否能减少采样偏差并改善泛化能力？
• RQ5 ScreenerNet 是否可作为实时误差估计器用于推理，特别是在嵌入式或增量学习系统中？

主要发现

• 在使用深度 Q 学习的 Cart-pole 强化学习任务中，ScreenerNet 的收敛速度更快，最终准确率高于最先进的课程学习方法。
• 在监督视觉任务中，ScreenerNet 在三个数据集（Pascal VOC2012、CIFAR10 和 MNIST）上均提升了准确率，且在收敛速度和最终性能上保持一致的增益。
• 该方法在训练速度和最终准确率上均优于优先经验回放（PER），且在组合使用时可进一步增强 PER 的性能。
• 可视化分析表明，ScreenerNet 减少了基线模型中出现的误分类混淆模式，尤其在难以区分的类别（如 4 和 9）上表现更优。
• 高 ScreenerNet 权重的样本在视觉上模糊且难以分类，而低权重样本则易于区分，证实该方法学习到了有意义的难度信号。
• ScreenerNet 与主网络之间的参数共享会降低准确率，表明 ScreenerNet 学习的是一个独特且非冗余的目标，能与主网络的学习形成互补。