[论文解读] Linear Mode Connectivity in Multitask and Continual Learning

Seyed Iman Mirzadeh, Mehrdad Farajtabar+3 more|arXiv (Cornell University)|Oct 9, 2020

Domain Adaptation and Few-Shot Learning参考文献 68被引用 13

一句话总结

本文研究了深度神经网络中持续学习（CL）与多任务学习（MTL）解之间的几何关系，发现当初始化相同时，MTL解与顺序学习的CL解通过一条低损失路径线性相连。这种线性模式连通性使得一种新型算法MC-SGD成为可能，该算法通过约束优化沿此低损失路径进行，从而在视觉基准测试中优于当前最先进的CL方法。

ABSTRACT

Continual (sequential) training and multitask (simultaneous) training are often attempting to solve the same overall objective: to find a solution that performs well on all considered tasks. The main difference is in the training regimes, where continual learning can only have access to one task at a time, which for neural networks typically leads to catastrophic forgetting. That is, the solution found for a subsequent task does not perform well on the previous ones anymore. However, the relationship between the different minima that the two training regimes arrive at is not well understood. What sets them apart? Is there a local structure that could explain the difference in performance achieved by the two different schemes? Motivated by recent work showing that different minima of the same task are typically connected by very simple curves of low error, we investigate whether multitask and continual solutions are similarly connected. We empirically find that indeed such connectivity can be reliably achieved and, more interestingly, it can be done by a linear path, conditioned on having the same initialization for both. We thoroughly analyze this observation and discuss its significance for the continual learning process. Furthermore, we exploit this finding to propose an effective algorithm that constrains the sequentially learned minima to behave as the multitask solution. We show that our method outperforms several state of the art continual learning algorithms on various vision benchmarks.

研究动机与目标

• 理解通过持续学习（CL）和多任务学习（MTL）找到的解之间的几何关系，特别是损失景观结构方面。
• 研究CL和MTL解是否由一条低损失路径连接，若存在，其最简形式可能为何。
• 评估传统相似性度量（如欧氏距离或CKA）在比较CL和MTL解时是否具有实际意义。
• 开发一种利用线性模式连通性的新型持续学习算法，以缓解灾难性遗忘。
• 通过实证验证线性连通性在多个任务和多样化视觉基准中的鲁棒性。

提出的方法

• 作者在相同的初始化制度下比较CL和MTL解，即两者从相同的初始权重出发，并以不同顺序在相同任务上进行训练。
• 通过在MTL解与每个CL解之间进行线性插值，测量路径上的损失来评估连通性，以验证低误差。
• 提出一种新算法——模式连通性随机梯度下降（MC-SGD），该算法约束优化轨迹始终位于MTL解与当前CL解之间的低损失线性路径内。
• 该方法使用一个损失正则化项，鼓励模型在顺序训练过程中保持接近MTL与CL解之间的线性插值路径。
• 在旋转MNIST、分割CIFAR-100和置换MNIST上进行实验，最多支持50个任务，使用标准基准和可复现的多次随机种子运行。
• 将MC-SGD的性能与当前最先进的CL基线方法（包括经验回放、正则化和蒸馏方法）进行比较。

实验结果

研究问题

• RQ1 CL和MTL解在损失景观中是否由一条低损失路径连接？
• RQ2 如果存在这样的路径，它是线性的吗？在何种条件下可保证其存在？
• RQ3 能否利用CL与MTL解之间的线性模式连通性来提升持续学习性能？
• RQ4 传统度量方法如欧氏距离或CKA是否能准确反映CL与MTL解之间的关系？
• RQ5 线性连通性在任务数量增加和多样化数据集上的鲁棒性如何？

主要发现

• 在相同初始化下，MTL解与CL解之间始终存在一条低损失的线性路径，即使在20多个任务下也保持稳定。
• 当解初始化不同时，线性连通性不成立，凸显了共享初始化的重要性。
• 传统度量如ℓ₂距离和CKA无法有效捕捉CL与MTL解之间的真正关系，因为它们无法反映性能差异。
• MC-SGD通过强制实现线性连通性，在旋转MNIST、分割CIFAR-100和50个任务的置换MNIST上实现了最先进性能。
• 该方法在所有基准和多次随机种子下，始终优于已有的CL基线方法，包括经验回放和基于正则化的策略。
• MTL与CL解之间的线性插值路径显示出损失非递增，证实了连接两类解的低损失流形的存在。