[论文解读] Crowdsourcing Argumentation Structures in Chinese Hotel Reviews

Mengxue Li, Shiqiang Geng+3 more|arXiv (Cornell University)|May 5, 2017

Mobile Crowdsensing and Crowdsourcing参考文献 16被引用 4

一句话总结

本论文提出了首个用于酒店评论的中文论证语料库，通过众包方式构建，并采用一种新颖的基于聚类的聚合方法，为标注结果赋予置信度分数。该研究提出了一种扩展的‘前提-主张’论证模型，实现了与领先英文语料库相当的标注质量，并公开发布了该数据集，以支持低资源语言的论证挖掘研究。

ABSTRACT

Argumentation mining aims at automatically extracting the premises-claim discourse structures in natural language texts. There is a great demand for argumentation corpora for customer reviews. However, due to the controversial nature of the argumentation annotation task, there exist very few large-scale argumentation corpora for customer reviews. In this work, we novelly use the crowdsourcing technique to collect argumentation annotations in Chinese hotel reviews. As the first Chinese argumentation dataset, our corpus includes 4814 argument component annotations and 411 argument relation annotations, and its annotations qualities are comparable to some widely used argumentation corpora in other languages.

研究动机与目标

• 为中文等低资源语言的客户评论中缺乏大规模、高质量的论证语料库提供解决方案。
• 探究在中文酒店评论中使用众包标注论证结构的可行性和有效性。
• 开发一种新型论证模型，扩展经典的前提-主张结构，以更好地捕捉非正式、用户生成评论中的推理过程。
• 设计并评估一种基于聚类的标注聚合方法，以解决标注冲突并为标签分配置信度分数。
• 公开发布一个高质量、可供访问的中文论证语料库，以支持未来在论证挖掘和自然语言处理领域的研究。

提出的方法

• 通过众包方式，从411篇中文酒店评论中的4814个句子收集了论证成分和关系标注。
• 提出了一种扩展的论证模型，包含主要主张、主张、前提、潜在支持性隐含主张（PSIC）和非论证（NA）五种类别。
• 设计了标注指南和质量控制机制，以减少标注者错误和不一致性。
• 应用聚类算法对每个项目进行多轮标注的聚合，解决冲突并估计标签置信度。
• 使用标注者间一致性（IRA）指标，包括加权卡帕系数（κ）和弗莱斯卡帕系数（π），评估标注质量。
• 基于高一致性（αU ≥ 0.7）筛选出‘争议性较低’的句子以确保可靠性，并使用混淆概率矩阵（CPM）进行错误分析。

实验结果

研究问题

• RQ1 尽管此类任务具有争议性，众包是否仍可有效用于标注中文客户评论中的论证结构？
• RQ2 所提出的论证模型在捕捉非正式、用户生成的酒店评论中的推理结构方面表现如何？
• RQ3 基于聚类的聚合方法在多大程度上能解决标注冲突并提升论证标注的可靠性？
• RQ4 与其它语言中现有最先进语料库相比，该语料库的标注质量如何？
• RQ5 从标注聚类中推导出的置信度分数，如何帮助用户评估单个标注的争议程度？

主要发现

• 该语料库包含4,814个论证成分标注和411个论证关系标注，是首个公开发布的中文论证语料库。
• 语料库实现了高水平的标注者间一致性，弗莱斯卡帕系数（π）在各类标签中范围为0.728至0.918，与广泛使用的英文语料库相当。
• 基于聚类的聚合方法成功解决了标注冲突，并生成了置信度分数，其中‘主张’类别的一致性最高（π = 0.918），‘主要主张’类别的一致性中等（π = 0.728）。
• 仅5%的争议性较低的句子对被标注为关系，表明关系密度较低，因此在该子集中未对关系进行聚合。
• 在简单评论语料库中，PSIC与NA标签之间的混淆较为显著，主要原因是缺乏候选列表时难以识别隐含主张。
• 最终语料库已公开发布于124.16.136.215，为低资源语言的论证挖掘研究提供了支持。