[论文解读] A Dataset Independent Set of Baselines for Relation Prediction in Argument Mining

Oana Cocarascu, Elena Cabrio+2 more|arXiv (Cornell University)|Feb 14, 2020

Topic Modeling参考文献 41被引用 10

一句话总结

本文提出了一套与数据集无关的神经网络基线模型，用于论辩挖掘中的论辩关系预测，使用通用特征（如词嵌入和TF-IDF）在多种数据集上进行实验。尽管BERT在其他NLP任务中表现优异，但作者发现非上下文化的词嵌入表现更优，且其模型在所有评估数据集中均展现出一致且强劲的性能，为未来方法提供了可靠的基准。

ABSTRACT

Argument Mining is the research area which aims at extracting argument components and predicting argumentative relations (i.e.,support and attack) from text. In particular, numerous approaches have been proposed in the literature to predict the relations holding between the arguments, and application-specific annotated resources were built for this purpose. Despite the fact that these resources have been created to experiment on the same task, the definition of a single relation prediction method to be successfully applied to a significant portion of these datasets is an open research problem in Argument Mining. This means that none of the methods proposed in the literature can be easily ported from one resource to another. In this paper, we address this problem by proposing a set of dataset independent strong neural baselines which obtain homogeneous results on all the datasets proposed in the literature for the argumentative relation prediction task. Thus, our baselines can be employed by the Argument Mining community to compare more effectively how well a method performs on the argumentative relation prediction task.

研究动机与目标

• 解决论辩挖掘中论辩关系预测缺乏可移植、跨数据集基线的问题。
• 通过在多个异构数据集上提供强大且一致的基线，实现新方法之间的公平比较。
• 评估通用特征和神经架构是否能在多样化的论辩语料库中超越数据集特定特征。
• 探究上下文化嵌入（如BERT）相较于非上下文化嵌入是否能提升论辩关系预测的性能。
• 建立一个不依赖于数据集特定语言或结构特征的基准。

提出的方法

• 提出四种神经网络架构：拼接模型、混合模型、自编码器和注意力机制模型，用于论辩关系分类。
• 使用通用特征（如词嵌入和TF-IDF向量），避免使用数据集特定特征（如位置或主题相似度）。
• 对比使用非上下文化词嵌入（如GloVe）和上下文化BERT嵌入。
• 在每个数据集上训练模型，并在保留的测试集上评估性能，报告支持和攻击关系的F1分数。
• 在所有数据集中采用一致的训练和评估协议，以确保可比性。
• 使用宏平均F1和数据集间的平均F1来评估整体性能和泛化能力。

实验结果

研究问题

• RQ1 一套单一的神经网络模型是否能在不依赖数据集特定特征的前提下，在多种论辩挖掘数据集中实现一致的性能表现？
• RQ2 与非上下文化嵌入相比，使用上下文化嵌入（如BERT）是否能提升论辩关系预测的性能？
• RQ3 不同神经架构（如注意力机制、自编码器）在跨数据集泛化方面表现如何比较？
• RQ4 通用特征（如TF-IDF和词嵌入）在论辩关系预测中是否已足够实现优异性能？
• RQ5 是否可以建立一个统一的基线，以实现在多个论辩挖掘数据集上对新方法的公平比较？

主要发现

• 所提出的基线模型在全部11个评估的论辩挖掘数据集中表现出一致的性能，展现出强大的泛化能力。
• 表现最佳的模型在所有数据集上对支持关系的宏平均F1得分为0.600，对攻击关系的宏平均F1得分为0.537。
• 非上下文化词嵌入（如GloVe）优于BERT嵌入，后者未展现出对基线模型的性能提升。
• 注意力机制模型和拼接模型达到最高的平均F1分数，其中注意力模型在最佳配置下对攻击关系和支持关系的F1分数均达到0.533。
• 使用TF-IDF和词嵌入等通用特征即可实现稳定性能，无需依赖数据集特定的特征工程。
• 结果表明，数据集特定特征并非实现高性能的必要条件，挑战了此类特征对高准确率至关重要的假设。