[论文解读] Continual Learning with Knowledge Transfer for Sentiment Classification

Zixuan Ke, Bing Liu+2 more|arXiv (Cornell University)|Dec 18, 2021

Domain Adaptation and Few-Shot Learning参考文献 32被引用 9

一句话总结

本文提出 KAN，一种用于情感分类的持续学习框架，通过知识库和可访问性网络实现前向和后向知识迁移，从而在新任务和旧任务上均提升准确率。KAN 显著优于最先进基线模型，在 24 项任务中的 21 项上取得最高准确率，并在不发生灾难性遗忘的情况下实现有效的双向知识迁移。

ABSTRACT

This paper studies continual learning (CL) for sentiment classification (SC). In this setting, the CL system learns a sequence of SC tasks incrementally in a neural network, where each task builds a classifier to classify the sentiment of reviews of a particular product category or domain. Two natural questions are: Can the system transfer the knowledge learned in the past from the previous tasks to the new task to help it learn a better model for the new task? And, can old models for previous tasks be improved in the process as well? This paper proposes a novel technique called KAN to achieve these objectives. KAN can markedly improve the SC accuracy of both the new task and the old tasks via forward and backward knowledge transfer. The effectiveness of KAN is demonstrated through extensive experiments.

研究动机与目标

• 为解决在持续学习设置下，由于保密性限制无法访问先前任务数据时，提升情感分类准确率的挑战。
• 在不使用先前数据的前提下，实现从旧任务到新任务的前向知识迁移。
• 在新任务训练过程中，通过后向知识迁移提升旧模型的性能。
• 通过利用相似情感分类任务之间的共享知识，减少对灾难性遗忘缓解方法的依赖。
• 开发一种可扩展且稳健的持续学习框架，专为涵盖多个产品领域的实际情感分析应用而设计。

提出的方法

• KAN 采用双网络架构：主持续学习（MCL）网络配备存储过去任务知识的知识库（KB），以及根据当前任务动态选择相关旧知识的可访问性（AC）网络。
• AC 网络基于当前任务动态识别并从 KB 中检索有用知识，从而实现有效的前向知识迁移。
• 在新任务训练期间，通过新任务数据对 KB 中的共享知识进行优化，实现后向知识迁移，从而提升旧任务的性能。
• 知识库以增量方式更新，使模型能够保留并增强对所有先前学习任务的知识。
• 该框架使用结合了任务特定分类损失、知识蒸馏和正则化项的损失函数，以保留并提升知识。
• 实验使用来自不同产品领域的 24 个情感分类任务序列，结果基于 10 种随机任务排序取平均。

实验结果

研究问题

• RQ1 在无法访问过去数据的情况下，持续学习系统能否有效利用先前情感分类任务的知识，以提升新任务的学习效果？
• RQ2 新任务的学习是否能通过后向知识迁移同时提升先前学习模型的性能？
• RQ3 通过利用情感任务之间的共享语言模式，是否能减少灾难性遗忘并相比标准持续学习方法提升整体准确率？
• RQ4 前向和后向知识迁移机制在情感分类中单独及联合使用时的效能如何？
• RQ5 基于知识库和可访问性网络的架构是否能在多样化的情感分类任务中，于准确率和鲁棒性方面超越现有持续学习基线？

主要发现

• KAN 在 24 项独立情感分类任务中的 21 项上实现了最高平均准确率，表现出卓越的性能和鲁棒性。
• 在前向迁移设置下，KAN 在学习完 24 项任务后平均准确率达到 0.8524，显著优于次佳基线模型 N-CL 的 0.8390。
• 在后向迁移方面，KAN 将先前学习任务的平均准确率从 ONE 基线的 0.7846 提升至 0.8524（24 项任务后），显示出随时间推移的显著知识增强效果。
• 前向知识迁移的效果强于后向迁移，因为前者更早且更有效地利用了先验知识。
• KAN 的后向迁移在无需额外微调或经验回放的情况下，持续提升了旧任务的性能，表明其具备有效的知识保留与增强能力。
• 即使在某些情况下 KAN 并未取得绝对最佳得分，其性能依然具有竞争力，凸显其在多样化产品领域中的稳定性与泛化能力。