[论文解读] Lifelong Learning CRF for Supervised Aspect Extraction

Lei Shu, Hu Xu+1 more|arXiv (Cornell University)|Apr 29, 2017

Text and Document Classification Technologies参考文献 24被引用 24

一句话总结

该论文提出 Lifelong CRF（L-CRF），一种新颖方法，通过利用先前领域中未标注评论挖掘出的可靠观点，增强条件随机场（CRF）在监督观点抽取中的性能。通过持续利用过往抽取经验对模型进行优化——而无需重新训练——L-CRF 在 F1 分数上显著优于标准 CRF 和 CRF+R，证明了终身学习在观点抽取序列标注任务中的有效性。

ABSTRACT

This paper makes a focused contribution to supervised aspect extraction. It shows that if the system has performed aspect extraction from many past domains and retained their results as knowledge, Conditional Random Fields (CRF) can leverage this knowledge in a lifelong learning manner to extract in a new domain markedly better than the traditional CRF without using this prior knowledge. The key innovation is that even after CRF training, the model can still improve its extraction with experiences in its applications.

研究动机与目标

• 通过利用先前处理过的未标注领域中的先验知识，提升新领域中监督观点抽取的性能。
• 解决传统 CRF 模型无法保留或利用先前抽取所获知识的局限性。
• 探究终身机器学习是否可有效应用于观点挖掘中的序列标注任务（如观点抽取）。
• 评估从多个领域未标注数据中提取出的可靠观点是否可作为新领域学习的有用归纳偏置。
• 证明持续知识整合可使性能超越标准 CRF 和简单的词典增强方法。

提出的方法

• L-CRF 使用一个在初始训练后保留先前领域知识的微调 CRF 模型。
• 训练完成后，模型将 CRF 应用于 50 个未标注领域，抽取观点并基于频率（阈值 λ=2）识别出可靠的方面。
• 过去领域中提取出的可靠观点被存储在知识集 K 中，用于指导新领域的推理。
• 在新领域推理过程中，L-CRF 通过修改特征函数，将已知可靠观点的标签-词特征纳入模型。
• 该方法在不改变模型结构或重新训练的前提下，增强 CRF 对已知观点的预测置信度。
• 该方法利用依赖模式和特征工程（如词性标注、词特征）提升泛化能力，同时保持 CRF 的序列建模能力。

实验结果

研究问题

• RQ1 是否可以利用未标注领域中先前抽取的结果，在不重新训练的情况下提升新领域中的观点抽取性能？
• RQ2 与标准 CRF 和基于词典的增强方法相比，CRF 中的终身学习是否能带来更高的 F1 分数？
• RQ3 以频率阈值筛选出的可靠观点作为归纳偏置，在序列标注任务中是否有效？
• RQ4 与领域内设置相比，终身学习带来的性能提升在跨领域设置中是否更显著？
• RQ5 CRF 模型是否可以通过基于经验的知识保留机制，在最终训练后仍得到性能增强？

主要发现

• 在跨领域设置中，L-CRF 的 F1 分数显著高于标准 CRF 和 CRF+R，在全部 7 个领域中均表现出一致的性能提升。
• 在跨领域实验中，L-CRF 胜过 CRF+R，后者因将 K 视为词典时对假阳性样本过滤不佳而导致精确率较低。
• L-CRF 的性能增益在跨领域场景中更为显著，因为跨领域共享观点对泛化能力至关重要。
• 在领域内设置中，F1 提升幅度较小但依然稳定，因为大多数观点已出现在训练数据中。
• 该方法证明，终身学习可有效应用于监督序列标注任务，使模型在训练结束后仍能通过经验持续改进。
• 结果验证了从过去未标注领域中挖掘出的可靠观点可作为新领域抽取任务中宝贵的归纳偏置。