[论文解读] CLASSIC: Continual and Contrastive Learning of Aspect Sentiment Classification Tasks

Zixuan Ke, Bing Liu+2 more|arXiv (Cornell University)|Dec 5, 2021

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

该论文提出 CLASSIC，一种新颖的持续对比学习框架，用于领域增量学习（DIL）设置下的方面情感分类，推理过程中无需任务身份信息。通过采用基于适配器的 BERT 微调、对比知识蒸馏和任务掩码，CLASSIC 有效实现了跨领域的共享知识迁移，并缓解了灾难性遗忘，在 19 个任务的基准测试中实现了 90.22% 的准确率和 85.12% 的 Macro-F1，达到当前最先进性能。

ABSTRACT

This paper studies continual learning (CL) of a sequence of aspect sentiment classification(ASC) tasks in a particular CL setting called domain incremental learning (DIL). Each task is from a different domain or product. The DIL setting is particularly suited to ASC because in testing the system needs not know the task/domain to which the test data belongs. To our knowledge, this setting has not been studied before for ASC. This paper proposes a novel model called CLASSIC. The key novelty is a contrastive continual learning method that enables both knowledge transfer across tasks and knowledge distillation from old tasks to the new task, which eliminates the need for task ids in testing. Experimental results show the high effectiveness of CLASSIC.

研究动机与目标

• 为解决在测试时间未知任务身份的领域增量学习（DIL）设置下持续方面情感分类（ASC）的挑战。
• 在顺序 ASC 任务中缓解灾难性遗忘，同时实现在不同领域之间的知识迁移。
• 通过训练一个能够处理所有先前和新任务的统一模型，消除推理过程中对任务标识符的需求。
• 开发一种支持任务间正向和反向知识迁移的对比学习方法。

提出的方法

• 采用基于适配器的 BERT 微调，以保留预训练 BERT 参数，同时实现特定任务的适应，减少灾难性遗忘。
• 提出一种新颖的对比持续学习方法，通过对齐不同任务的表示来实现共享知识的迁移。
• 应用对比集成蒸馏，将所有先前任务的知识迁移至当前模型，使最终模型能够在无任务 ID 的情况下分类所有任务。
• 使用可学习的任务掩码隔离并保护特定任务的知识，最小化干扰和遗忘。
• 端到端训练模型，采用对比损失，鼓励来自不同任务的相似样本具有相似的表示。
• 将先前任务模型的知识蒸馏到当前模型中，以保持旧任务上的性能。

实验结果

研究问题

• RQ1 在推理过程中无需任务身份信息的情况下，持续学习框架能否有效实现跨多样化领域方面情感分类中的共享知识迁移？
• RQ2 在使用基于 BERT 的模型时，如何缓解持续方面情感分类中的灾难性遗忘？
• RQ3 在 DIL 设置下，对比学习在多大程度上增强了顺序 ASC 任务之间的知识迁移和模型泛化能力？
• RQ4 所提出的方法在顺序 ASC 任务上的准确率和鲁棒性方面是否优于现有的持续学习基线方法？
• RQ5 通过对比知识蒸馏和适配器微调训练的单一统一模型，是否能够在不进行特定任务头选择的情况下，在所有先前和新任务上实现高性能？

主要发现

• CLASSIC 在 19 个任务的领域增量学习基准上实现了 90.22% 的准确率和 85.12% 的 Macro-F1，显著优于所有当前最先进基线方法。
• 消融实验表明，每个组件——对比知识共享、对比监督学习和对比集成蒸馏——均对性能有显著贡献，完整模型表现最佳。
• 正向迁移有效，表现为从 CLASSIC(forward) 到 CLASSIC 的性能提升，而反向迁移进一步增强了性能，表明知识成功保留。
• 即使在后两者（LAMOL 和 KAN）引入基于熵的任务识别方法后，CLASSIC 仍优于 BERT 微调、Adapter-BERT、LAMOL、KAN，证明其在 DIL 设置下的优越性。
• 该模型在所有任务上均保持强大性能，早期任务无性能退化，表明灾难性遗忘得到有效缓解。
• 对比学习组件显著提升了泛化能力，表现为所有任务上 Macro-F1 的一致提升，尤其在数据不平衡设置下表现突出。