[论文解读] Forward and Backward Knowledge Transfer for Sentiment Classification

Hao Wang, Bing Liu+3 more|arXiv (Cornell University)|Jun 8, 2019

Domain Adaptation and Few-Shot Learning参考文献 29被引用 23

一句话总结

本文提出了一种名为终身朴素贝叶斯（Lifelong Naïve Bayes, LNB）的新颖终身学习框架，用于情感分类，可在无需微调的情况下实现前向与后向知识迁移。通过直接利用未来任务的知识更新生成模型参数，LNB 在不重新训练的前提下提升了过去任务的性能，同时保持高效，在顺序情感分类任务的实验中优于现有基线方法。

ABSTRACT

This paper studies the problem of learning a sequence of sentiment classification tasks. The learned knowledge from each task is retained and used to help future or subsequent task learning. This learning paradigm is called Lifelong Learning (LL). However, existing LL methods either only transfer knowledge forward to help future learning and do not go back to improve the model of a previous task or require the training data of the previous task to retrain its model to exploit backward/reverse knowledge transfer. This paper studies reverse knowledge transfer of LL in the context of naive Bayesian (NB) classification. It aims to improve the model of a previous task by leveraging future knowledge without retraining using its training data. This is done by exploiting a key characteristic of the generative model of NB. That is, it is possible to improve the NB classifier for a task by improving its model parameters directly by using the retained knowledge from other tasks. Experimental results show that the proposed method markedly outperforms existing LL baselines.

研究动机与目标

• 为解决现有终身学习方法无法在不重新训练其原始数据的情况下改进过去任务模型的局限性。
• 通过利用未来任务的知识来增强过去任务分类器，实现在终身学习中实现反向知识迁移。
• 开发一种仅依赖保留模型参数、无需对过去数据重新训练的方法，以提升情感分类性能。
• 探索在生成模型（如朴素贝叶斯）中实现后向知识迁移在顺序学习中的可行性。
• 评估所提方法在提升顺序情感分类任务中未来与过去任务性能方面的有效性。

提出的方法

• 该方法利用朴素贝叶斯的生成模型参数，特别是词类条件概率 $ P(w_k|c_j) $，在每次任务训练后存储这些参数。
• 其参数更新规则基于未来任务的知识，对过去任务的模型参数进行修正，而无需访问原始训练数据。
• 关键洞见在于，生成模型的参数足以整合新知识，从而可直接基于其他任务的知识修订 $ P(w_k|c_j) $。
• 该方法使用所有先前学习任务的知识加权组合，以优化目标任务的参数，从而提升其准确率。
• 该方法应用于顺序学习设置中，任务按顺序处理，知识在知识库中逐步更新。
• 模型采用拉普拉斯平滑，$ \lambda = 0.1 $，且参数更新基于未来任务知识的相对置信度计算。

实验结果

研究问题

• RQ1 能否利用未来情感分类任务的知识，在不重新训练其原始数据的情况下改进过去任务的模型？
• RQ2 是否可能仅通过保留过去任务的生成模型参数，在终身学习设置中实现后向知识迁移？
• RQ3 在顺序情感分类任务中，所提方法与现有终身学习基线相比性能如何？
• RQ4 当同时应用前向与后向知识迁移时，对模型准确率有何影响？
• RQ5 能否利用朴素贝叶斯的生成特性，实现在无重新训练情况下的高效跨任务模型改进？

主要发现

• 所提出的LNB方法在情感分类任务中显著优于现有终身学习基线，验证了后向知识迁移的有效性。
• 通过直接使用未来任务的知识更新过去任务的模型参数（无需重新训练），该方法在这些任务上实现了显著的性能提升。
• 在10个随机生成的领域序列上的实验结果表明，所有任务均获得一致改进，其中后期任务的增益最为显著。
• 后向知识迁移机制有效利用未来知识来优化过去模型，验证了本文的核心假设。
• 该方法保持了高效率，因其避免了重新训练，仅修改存储的模型参数，因此适用于长序列任务的可扩展性。
• 结果证实，生成模型的参数结构能够有效且直接地实现跨任务的知识迁移，即使在缺乏原始训练数据的情况下亦成立。