[论文解读] Neural Aspect and Opinion Term Extraction with Mined Rules as Weak Supervision

Hongliang Dai, Yangqiu Song|arXiv (Cornell University)|Jul 7, 2019

Sentiment Analysis and Opinion Mining参考文献 31被引用 18

一句话总结

该论文提出 RINANTE，一种神经方面和观点术语抽取模型，通过结合人工标注数据与从自动挖掘的基于依存关系的规则获得的弱监督，提升了性能。该方法利用标注数据中的规则挖掘生成大规模辅助训练数据，使神经模型在极少人工标注样本的情况下实现最先进或更优的结果。

ABSTRACT

Lack of labeled training data is a major bottleneck for neural network based aspect and opinion term extraction on product reviews. To alleviate this problem, we first propose an algorithm to automatically mine extraction rules from existing training examples based on dependency parsing results. The mined rules are then applied to label a large amount of auxiliary data. Finally, we study training procedures to train a neural model which can learn from both the data automatically labeled by the rules and a small amount of data accurately annotated by human. Experimental results show that although the mined rules themselves do not perform well due to their limited flexibility, the combination of human annotated data and rule labeled auxiliary data can improve the neural model and allow it to achieve performance better than or comparable with the current state-of-the-art.

研究动机与目标

• 解决神经方面和观点术语抽取中训练数据标注稀缺的问题。
• 通过利用自动挖掘的规则作为弱监督，减少对昂贵人工标注的依赖。
• 通过在人工标注数据和规则标注的辅助数据上联合训练，提升神经模型性能。
• 开发一种基于依存句法分析和词性标注的自动化规则挖掘算法，用于方面和观点术语抽取。

提出的方法

• 一种算法从现有标注样本的依存句法分析和词性标注结果中挖掘抽取规则。
• 挖掘出的规则被应用于标注大量未标注的产品评论，生成辅助训练数据。
• 使用人工标注数据（强监督）和规则标注数据（弱监督）联合训练 BiLSTM-CRF 神经模型。
• 模型从高精度的人工标注数据与高覆盖度、较低精度的规则标注数据的结合中进行学习。
• 该方法在三个 SemEval 数据集上使用方面和观点术语抽取的标准指标进行评估。

实验结果

研究问题

• RQ1 从依存句法分析中自动挖掘的规则能否提升神经方面和观点术语抽取性能？
• RQ2 将规则标注数据与有限的人工标注数据结合，对模型性能有何影响？
• RQ3 当使用从挖掘规则中获得的弱监督进行训练时，神经模型是否能实现更好的泛化能力？
• RQ4 与仅使用人工数据训练相比，挖掘出的规则在多大程度上提升了模型性能？

主要发现

• RINANTE 模型在三个 SemEval 数据集上的性能优于或相当于当前最先进水平。
• 使用人工标注数据与规则标注数据联合训练，显著优于仅使用人工数据训练的模型。
• 尽管单个挖掘规则在灵活性上有限，但其提供了有效的弱监督，显著增强了模型的泛化能力。
• 即使规则仅能提取部分短语（如“microphones”），模型仍能成功捕捉多词方面术语（如“external microphones”）。
• 规则挖掘过程高效，每数据集在标准硬件上耗时不足 10 秒。