[论文解读] Understanding and Detecting Supporting Arguments of Diverse Types

Xinyu Hua, Lu Wang|arXiv (Cornell University)|Apr 28, 2017

Natural Language Processing Techniques被引用 18

一句话总结

本文提出了一项新任务，旨在从外部文档中检测句子级别的支持性论据以支持用户指定的主张，提出一个标注了四种论据类型（研究、事实、观点和推理）的数据集。采用结合类型感知特征的LambdaMART方法，MRR达到57.65，显著优于基线模型，表明论据类型信息可提升检测性能。

ABSTRACT

We investigate the problem of sentence-level supporting argument detection from relevant documents for user-specified claims. A dataset containing claims and associated citation articles is collected from online debate website idebate.org. We then manually label sentence-level supporting arguments from the documents along with their types as study, factual, opinion, or reasoning. We further characterize arguments of different types, and explore whether leveraging type information can facilitate the supporting arguments detection task. Experimental results show that LambdaMART (Burges, 2010) ranker that uses features informed by argument types yields better performance than the same ranker trained without type information.

研究动机与目标

• 为解决缺乏自动检测外部文档中支持性论据以支持用户主张的工具的问题。
• 探究不同类型的支持性论据（研究、事实、观点、推理）是否需要不同的检测策略。
• 开发并评估一种利用论据类型信息的监督排序模型，以提升检测性能。
• 分析不同类型论据在语言和结构上的差异，以指导特征设计。

提出的方法

• 从idebate.org收集并标注了一个新数据集，对200个主题和621篇引用文章中的句子级支持性论据及其类型进行标注，标注者间一致性高（Cohen’s κ = 0.8）。
• 定义了四种论据类型：研究（研究发现）、事实（经验数据）、观点（专家或个人观点）和推理（逻辑推断）。
• 设计了复合特征，将论据类型与句子、主张及相似度特征结合（例如，Comp(type, Sen)，Comp(type, Simi)），以增强表征能力。
• 使用这些特征训练LambdaMART排序模型，对给定主张的相关候选句子进行打分。
• 采用ROUGE分数、命名实体数量、具体性及唤醒度作为语言特征，并通过t检验评估各类论据的显著性。
• 通过消融实验比较了包含与不包含类型感知特征的模型，使用MRR和NDCG作为评估指标。

实验结果

研究问题

• RQ1 支持性论据在四种类型（研究、事实、观点、推理）中的语言和结构特征有何差异？
• RQ2 能否利用论据类型信息提升支持性论据检测的性能？
• RQ3 在每类论据中，哪些特征最能有效区分支持性句子与非支持性句子？
• RQ4 关键特征（如模糊表达词、句位、具体性）的分布如何在不同论据类型间变化？
• RQ5 引入类型感知复合特征是否能在检索性能上带来统计上显著的提升？

主要发现

• 使用复合特征并结合论据类型信息的LambdaMART模型达到MRR 57.65，显著优于所有基线模型（p < 0.05）。
• 表现最佳的模型结合了句子特征、n-gram、相似度特征以及两个复合特征（Comp(type, Sen) 和 Comp(type, Simi)），实现MRR 57.65和NDCG 66.51。
• 研究类论据的句子显著更可能包含百分比术语和模糊表达词，p值均小于1e-10。
• 对于事实类论据，句子位置和与主张的ROUGE相似度是高度显著的特征（p < 1e-10）；而对于推理类论据，较低的具体性和唤醒度是关键指标。
• 观点类论据无显著位置偏差，表明其在文档中分布更均匀。
• 特征分析表明，显著特征（如具体性、模糊表达、命名实体）的分布显著因论据类型而异，验证了类型感知建模的必要性。