[论文解读] Lifelong Learning for Sentiment Classification

Zhiyuan Chen, Nianzu Ma+1 more|arXiv (Cornell University)|Jan 9, 2018

Sentiment Analysis and Opinion Mining参考文献 22被引用 27

一句话总结

本文提出了一种终身情感分类（LSC）框架，通过贝叶斯优化方法结合随机梯度下降，利用先前学习到的情感分类任务中的知识。通过基于过往领域情感词极性引入惩罚项，该方法在20个产品领域中，无论在自然类别分布还是平衡类别分布下，均显著优于基线模型。

ABSTRACT

This paper proposes a novel lifelong learning (LL) approach to sentiment classification. LL mimics the human continuous learning process, i.e., retaining the knowledge learned from past tasks and use it to help future learning. In this paper, we first discuss LL in general and then LL for sentiment classification in particular. The proposed LL approach adopts a Bayesian optimization framework based on stochastic gradient descent. Our experimental results show that the proposed method outperforms baseline methods significantly, which demonstrates that lifelong learning is a promising research direction.

研究动机与目标

• 解决在实际场景中因样本选择偏差导致训练数据不具代表性时，情感分类性能下降的挑战。
• 开发一种终身学习系统，能够保留并重用以往情感分类任务中的知识，以提升在新领域上的表现。
• 克服传统迁移学习的局限性，通过整合过往学习结果而非仅依赖标记的源领域数据。
• 设计一种可扩展且高效的优化框架，动态地将领域不变的情感知识融入学习过程。
• 通过一个包含20个产品评论领域的大型多样化语料库，证明终身学习在情感分类中的有效性。

提出的方法

• 将终身情感分类建模为一个序列学习问题，其中前N−1个任务的知识用于提升第N个任务的学习效果。
• 基于随机梯度下降（SGD）的贝叶斯优化框架，用于训练融合知识的情感分类器。
• 在优化目标中引入两项惩罚项：一项用于保持来自过往领域的感情词极性，另一项用于使预测的情感分布与已知模式对齐。
• 将知识表示为知识库（KB）中的比值，即来自过往任务的正面与负面情感词频率之比，表示为 $ R_w = M_{+,w}^{KB}/(M_{+,w}^{KB} + M_{-,w}^{KB}) $。
• 通过正则化方式引入过往知识：$ \frac{1}{2}\alpha \sum_{w \in V_S} \left( X_{+,w} - R_w \cdot X_{+,w}^0 \right)^2 $ 及其负向情感的类似形式。
• 通过在SGD的梯度计算中加入惩罚项的偏导数，实现端到端的知识迁移学习。

实验结果

研究问题

• RQ1 即使目标领域具备充足的标注数据，先前学习到的情感分类任务的知识是否仍能提升在新未见领域上的性能？
• RQ2 如何有效表示并重用过往学习结果，使其在多样化领域间具有良好的泛化能力？
• RQ3 将过往任务中领域不变的情感词极性纳入模型，是否能带来比标准迁移学习或单领域训练更好的泛化性能？
• RQ4 过往领域数量的增加如何影响终身学习系统的性能？
• RQ5 基于惩罚项的知识注入的贝叶斯优化框架，是否能在情感分类任务中超越朴素贝叶斯、SVM和CLF等标准基线模型？

主要发现

• 所提出的LSC模型在所有20个领域中，于自然类别分布下的负面类别上均取得了最高的F1得分，显著优于NB-T、SVM-T、NB-S、SVM-S、NB-ST、SVM-ST和CLF（p < 0.01）。
• 在平衡类别分布下，LSC实现了最高的准确率，甚至超越了此前优于标准基线的CLF模型。
• 随着过往领域数量的增加，性能持续提升，表明系统具备随时间积累并有效利用知识的能力。
• 相较于NB-ST和CLF的性能提升具有统计显著性（p < 0.01），而与其他基线模型相比的提升则极为显著（p < 0.0001）。
• 该方法通过利用过往领域中情感词极性模式，有效缓解了样本选择偏差，尤其在目标领域中罕见或未见的情感词上表现更优。
• 基于知识库统计量（如 $ R_w $）的惩罚项，使模型在适应新数据的同时有效保留了先前的情感知识，从而带来稳健的性能提升。