[论文解读] Maslow's Hammer for Catastrophic Forgetting: Node Re-Use vs Node Activation

Sebastian Lee, Stefano Sarao Mannelli+3 more|arXiv (Cornell University)|May 18, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出了「马斯洛之锤」假说，用以解释持续学习中的灾难性遗忘现象，指出节点重用与节点激活之间的权衡是导致中间任务相似度区间遗忘最严重的根本原因。通过在合成与真实世界设置中的理论分析，表明最优性能可通过平衡这两个因素实现，并从该视角重新诠释现有算法，以指导有效的干预策略。

ABSTRACT

Continual learning - learning new tasks in sequence while maintaining performance on old tasks - remains particularly challenging for artificial neural networks. Surprisingly, the amount of forgetting does not increase with the dissimilarity between the learned tasks, but appears to be worst in an intermediate similarity regime. In this paper we theoretically analyse both a synthetic teacher-student framework and a real data setup to provide an explanation of this phenomenon that we name Maslow's hammer hypothesis. Our analysis reveals the presence of a trade-off between node activation and node re-use that results in worst forgetting in the intermediate regime. Using this understanding we reinterpret popular algorithmic interventions for catastrophic interference in terms of this trade-off, and identify the regimes in which they are most effective.

研究动机与目标

• 解释为何灾难性遗忘在中间任务相似度区间最为严重，而非直观预期的在高度不相似的任务之间。
• 识别出节点重用与节点激活之间存在的根本性权衡，作为该现象的根本原因。
• 提供一个理论框架，将此权衡与持续学习中的性能下降联系起来。
• 通过此权衡视角重新诠释现有持续学习算法，以确定其最优应用区间。

提出的方法

• 分析一个合成的教师-学生框架，以隔离并研究节点重用与激活的动力学行为。
• 采用真实数据设置，在实际的持续学习场景中验证理论发现。
• 通过理论建模量化节点重用（跨任务重用神经元）与节点激活（为新任务使用新神经元）之间的权衡。
• 推导出该权衡导致最大遗忘的条件，特别是在中间相似度区间。
• 将流行的持续学习算法（如知识蒸馏、突触智能）重新表述为调节此权衡的策略。

实验结果

研究问题

• RQ1 为何灾难性遗忘在中间任务相似度区间达到峰值，而非在任务高度不相似时？
• RQ2 节点重用与节点激活在持续学习中的关系受何种潜在机制支配？
• RQ3 重用现有神经元与激活新神经元之间的平衡如何影响遗忘率？
• RQ4 现有针对灾难性遗忘的算法干预措施在何种区间内最为有效？

主要发现

• 灾难性遗忘在中间任务相似度区间最为严重，原因是节点重用与节点激活之间存在权衡。
• 在合成与真实世界设置中的理论分析均证实，此权衡是遗忘动态的主要驱动因素。
• 节点重用有利于保留旧知识，但会降低对新任务的灵活性；节点激活则能促进新任务学习，但以遗忘旧知识为代价。
• 遗忘峰值出现在系统既未完全重用也未完全激活节点时，表明存在一个临界平衡点。
• 现有算法如知识蒸馏和突触智能被证明通过调节重用与激活之间的平衡来运作，其有效性取决于任务相似度。