[论文解读] Cross-topic Argument Mining from Heterogeneous Sources Using Attention-based Neural Networks

Christian Stab, Tristan Miller+1 more|arXiv (Cornell University)|Feb 15, 2018

Topic Modeling参考文献 4被引用 27

一句话总结

本文提出了一种基于注意力机制的神经网络跨主题论点挖掘框架，该框架在包含八个争议性主题的25,000个异构网络文本实例的大规模众包语料库上进行训练。该模型在跨主题泛化任务中的准确率和F1值分别比基线BiLSTM模型高出6%和11%，通过主题感知注意力机制和相似性特征，展现出对未见主题的强大鲁棒性。

ABSTRACT

Argument mining is a core technology for automating argument search in large document collections. Despite its usefulness for this task, most current approaches to argument mining are designed for use only with specific text types and fall short when applied to heterogeneous texts. In this paper, we propose a new sentential annotation scheme that is reliably applicable by crowd workers to arbitrary Web texts. We source annotations for over 25,000 instances covering eight controversial topics. The results of cross-topic experiments show that our attention-based neural network generalizes best to unseen topics and outperforms vanilla BiLSTM models by 6% in accuracy and 11% in F-score.

研究动机与目标

• 通过未经训练的众包工作者，开发一种适用于多样化、异构网络文本的通用论点标注方案。
• 构建一个大规模、多语言、跨主题的论点挖掘语料库，涵盖八个争议性主题，标注实例超过25,000个。
• 评估神经网络模型在论点检索任务中对未见主题的泛化性能。
• 量化为使通用模型达到与主题特异性模型相当的在主题内性能，所需的主题特异性数据量。
• 探究注意力机制是否能有效识别不同文本类型中的主题相关论点。

提出的方法

• 设计一种以主题相关性为核心的句子级标注方案，区分支持性、反对性和非论点性句子。
• 通过众包方式在八个争议性主题（包括核能、最低工资、校服等）中收集25,000个标注实例。
• 实现一种具有双重注意力机制的注意力神经网络：一种用于句子-主题对齐，另一种用于句子级上下文建模。
• 引入句子嵌入与主题嵌入之间的余弦相似度特征，以增强主题相关性检测能力。
• 在跨主题设置下训练模型，并在在主题内和零样本泛化场景下进行评估。
• 开展消融研究和错误分析，以评估注意力权重及模型在主题转移下的鲁棒性。

实验结果

研究问题

• RQ1 未经训练的众包工作者能否可靠地将一致的通用论点标注方案应用于异构网络文本？
• RQ2 与标准BiLSTM模型相比，基于注意力机制的神经网络在论点挖掘中对未见主题的泛化能力如何？
• RQ3 为使通用模型达到与主题特异性模型相当的在主题内性能，所需的主题特异性数据的最小量是多少？
• RQ4 当在多样化主题中识别主题相关论点时，注意力机制优先关注哪些语言特征？
• RQ5 在跨主题设置下，注意力权重如何反映论点性内容与主题无关的词汇？

主要发现

• 众包工作者在所提出的标注方案上实现了可靠的标注质量，从而得以构建一个大规模、多样化的论点挖掘语料库，包含超过25,000个实例。
• 基于注意力机制的神经网络在跨主题泛化任务中，相比基线BiLSTM模型，准确率高出6个百分点，F1值高出11个百分点。
• inner-att+cos模型仅使用目标主题数据的30%便达到0.802的召回率，显著优于BiLSTM和BiLSTM+cos模型，后者即使使用全部数据也未能达到在主题内的召回率。
• 注意力机制有效突出了具有论点意义的词汇，如“violates”（违反）、“freedom”（自由）和“undermine”（破坏），同时减少了对主题无关停用词的关注。
• 模型中注意力权重最高的词汇主要为表达评价判断的形容词和副词（如“fair”（公正）、“wrong”（错误）、“impossible”（不可能））以及表示伤害或反对的动词（如“infringe”（侵犯）、“oppose”（反对））。
• 错误分析显示，假阳性通常为非论点性的背景陈述或缺乏证据的意见，而假阴性则常涉及与主题间接相关的相关论点（如克隆用器官捐献）。