[论文解读] Adapting Auxiliary Losses Using Gradient Similarity

Yunshu Du, Wojciech Marian Czarnecki+4 more|arXiv (Cornell University)|Dec 5, 2018

Adversarial Robustness in Machine Learning参考文献 51被引用 95

一句话总结

本文提出一种梯度余弦相似度启发式方法，用于判断何时使用辅助损失以帮助主任务，确保收敛并在监督学习与强化学习设置中阻止负迁移。

ABSTRACT

One approach to deal with the statistical inefficiency of neural networks is to rely on auxiliary losses that help to build useful representations. However, it is not always trivial to know if an auxiliary task will be helpful for the main task and when it could start hurting. We propose to use the cosine similarity between gradients of tasks as an adaptive weight to detect when an auxiliary loss is helpful to the main loss. We show that our approach is guaranteed to converge to critical points of the main task and demonstrate the practical usefulness of the proposed algorithm in a few domains: multi-task supervised learning on subsets of ImageNet, reinforcement learning on gridworld, and reinforcement learning on Atari games.

研究动机与目标

• 在提高数据效率的同时，避免对主任务产生负迁移，激励使用辅助损失。
• 引入一种轻量级、基于梯度的启发式方法，在训练期间动态加权辅助损失。
• 在提出的更新规则下，理论上保证主任务的收敛。
• 在监督学习和强化学习领域通过实证验证该方法。
• 讨论将梯度相似性作为任务相关性度量的含义与局限性。

提出的方法

• 定义一个共享参数的架构，其中包含主任务网络和辅助任务网络。
• 提出一种基于梯度的更新规则，仅当它们的余弦相似度为非负时才将辅助梯度加入主梯度（或使用二值变体）。
• 在较小学习率下证明主损失收敛到一个局部最小值（命题1和命题2）。
• 证明该方法通过把辅助在余弦相似度为负时关闭来阻止负迁移，并在实践中能够实现正迁移（算法1和算法2变体）。
• 将该方法应用于ImageNet上的二元分类、旋转的MNIST、RL网格世界和Atari，以展示在不同领域的适应性。
• 讨论所得向量场不必是保守场，强调实际训练中的含义。

实验结果

研究问题

• RQ1 梯度余弦相似度是否能可靠指示在训练过程中辅助任务何时会帮助或伤害主任务？
• RQ2 基于梯度相似性调整辅助权重是否能保证收敛到主任务的临界点？
• RQ3 在任务相关性变化的情况下，所提启发式在监督学习和强化学习设置中的表现如何？
• RQ4 将梯度相似性用作跨领域迁移度量的实际含义和潜在局限性是什么？

主要发现

• 梯度余弦相似度区分相关与无关的辅助任务，在ImageNet实验中对近对的相似度较高、对远对较低。
• 提出的 cos-weighted 方法可以加速初始学习，在辅助变得无用时（近类对）达到与单任务相同的性能。
• 该方法通过把辅助在余弦相似度为负时关闭来阻止负迁移，并可在远类对恢复主任务性能。
• 在旋转的 MNIST 中，该方法提升或达到单任务性能，并在较高旋转时减轻辅助带来的负干扰。
• 在 RL 网格世界和 Atari 中，基于余弦权重的蒸馏会自适应地调整辅助信号以提高学习速度和最终表现，同时避免遗忘主任务技能。
• 命题显示在所提出的更新规则下，即使辅助向量场非保守，也对主任务具有收敛保障。