[论文解读] Towards an Argument Mining Pipeline Transforming Texts to Argument Graphs

Mirko Lenz, Premtim Sahitaj+5 more|arXiv (Cornell University)|Jun 8, 2020

Software Engineering Research参考文献 25被引用 12

一句话总结

本文提出了一种通用的论点挖掘流水线，通过结合论点成分检测、关系预测和图构建的多阶段流程，将德语和英语文本转换为基于图的论点表示。该方法在使用预设论点话语单元时，与人工标注基准表现出高度一致性，并在非结构化文本中揭示了新颖的论点关联，展现出实用性。

ABSTRACT

This paper targets the automated extraction of components of argumentative information and their relations from natural language text. Moreover, we address a current lack of systems to provide complete argumentative structure from arbitrary natural language text for general usage. We present an argument mining pipeline as a universally applicable approach for transforming German and English language texts to graph-based argument representations. We also introduce new methods for evaluating the results based on existing benchmark argument structures. Our results show that the generated argument graphs can be beneficial to detect new connections between different statements of an argumentative text. Our pipeline implementation is publicly available on GitHub.

研究动机与目标

• 解决缺乏能够从德语和英语任意自然语言文本中端到端生成完整论点结构的论点挖掘系统的问题。
• 开发一种稳健、普适的流水线，将非结构化文本转换为基于图的论点表示。
• 引入基于基准论点结构的新评估方法，以评估生成论点图的质量。
• 通过基于图的分析，实现对论点文本中先前未被注意的陈述间关联的检测。
• 通过使论点信息在计算上可访问且可视觉分析，支持决策者、记者和研究人员。

提出的方法

• 该流水线通过一系列阶段处理文本：论点话语单元（ADU）分割、将ADU分类为论点、前提和主要论点，以及ADU之间的关系预测。
• ADU通过结合语法、词汇和上下文线索等语言特征进行识别，并使用多分类器进行分类。
• ADU之间的关系通过多种策略预测——成对比较、中心点法、概率法和首个论点选择法，每种策略均可配置阈值。
• 生成的论点图使用Argument Interchange Format（AIF）的扩展版本构建，明确支持主要论点和有向支持/攻击关系。
• 图构建通过与人工标注基准对比的节点一致性（I-node、S-node）、论点一致性（M）和边一致性（E）指标进行评估。
• 该流水线端到端实现，并在GitHub上公开，支持自动和预设ADU输入的对比评估。

实验结果

研究问题

• RQ1 端到端论点挖掘流水线在多大程度上能准确重构来自非结构化德语和英语文本的人工标注论点图？
• RQ2 不同的ADU分割和关系预测方法在多大程度上影响生成论点图的质量和一致性？
• RQ3 生成的论点图能否揭示原始文本中不明显的、非平凡的陈述间新关联？
• RQ4 该流水线在不同文本类型（如同质性论文与异质性论点语料库）中的鲁棒性如何？
• RQ5 使用预设ADU在多大程度上能提高最终论点图结构的可靠性与一致性？

主要发现

• 在PE 18语料库上，该流水线实现了0.799的I-node一致性，表明在将文本分割为论点话语单元方面表现强劲。
• 在PE 18语料库上，使用“首个”方法时，主要论点一致性达到0.250，但总体值仍较低，导致H2被拒绝。
• 整体边一致性较低（例如，PE 18上的𝔈ₑ₂ₑ = 0.130），表明关系预测存在挑战，导致H4被拒绝。
• 使用预设ADU显著提高了边一致性（𝔼ₚᵣₑₛₑₜ = 0.274），同时保持了较高的I-node一致性，支持H5的接受。
• 该方法在检测陈述间新颖关联方面表现出实用性，表明其价值不仅限于复制人工标注。
• 该流水线在不同语料库中表现出鲁棒性，同质性数据集（如PE）的一致性评分高于异质性语料库（如ReCAP）。