[论文解读] AMPERSAND: Argument Mining for PERSuAsive oNline Discussions

Tuhin Chakrabarty, Christopher Hidey+3 more|arXiv (Cornell University)|Apr 30, 2020

Topic Modeling参考文献 33被引用 4

一句话总结

AMPERSAND 提出了一种新颖的在线说服性讨论论辩挖掘框架，通过微层次（论辩成分）与宏层次（对话关系）结构的整合，结合微调后的 BERT 与话语关系理论（Rhetorical Structure Theory, RST）的论述关系，实现了在关系预测方面相较于最先进模型的显著提升。该方法通过利用上下文感知与话语感知特征，特别是通过窗口化上下文裁剪和基于 RST 的监督，显著提高了在 CMV 子版块讨论线程中内部与跨轮次关系的 F1 分数。

ABSTRACT

Argumentation is a type of discourse where speakers try to persuade their audience about the reasonableness of a claim by presenting supportive arguments. Most work in argument mining has focused on modeling arguments in monologues. We propose a computational model for argument mining in online persuasive discussion forums that brings together the micro-level (argument as product) and macro-level (argument as process) models of argumentation. Fundamentally, this approach relies on identifying relations between components of arguments in a discussion thread. Our approach for relation prediction uses contextual information in terms of fine-tuning a pre-trained language model and leveraging discourse relations based on Rhetorical Structure Theory. We additionally propose a candidate selection method to automatically predict what parts of one's argument will be targeted by other participants in the discussion. Our models obtain significant improvements compared to recent state-of-the-art approaches using pointer networks and a pre-trained language model.

研究动机与目标

• 为解决在线对话中论辩挖掘的空白，整合微层次论辩成分与宏层次对话关系。
• 在以独白为中心的模型之外，提升说服性讨论论坛中的关系预测性能。
• 利用远程监督与迁移学习，提升低资源论辩挖掘任务的性能。
• 探究话语结构（通过 RST）与上下文窗口化对关系预测准确率的影响。
• 在不牺牲召回率的前提下，缩小关系预测的搜索空间，同时提升精确率。

提出的方法

• 在手工标注的 CMV 子版块数据与两个新型远程标注数据集（IMHO+context 与 QR）的组合上微调预训练 BERT 模型，以提升上下文理解能力。
• 利用话语关系理论（Rhetorical Structure Theory, RST）提取话语关系（如评价、对立），以增强关系预测能力。
• 应用窗口化上下文裁剪，以限制关系预测的搜索空间，通过聚焦于相关邻近组件来提升精确率。
• 训练联合模型，通过 BERT 与 RST 特征的流水线方法，同时预测论辩成分（主张、前提）与关系（支持/攻击）。
• 利用 RST 解析器提取的话语线索作为额外特征，以补充 BERT 嵌入表示，提升在未见数据上的泛化能力。
• 使用 TF-IDF 相似度从外部数据中检索并分析失败案例，验证模型学习区分性话语模式的能力。

实验结果

研究问题

• RQ1 在相似但非相同领域的远程标注数据上微调 BERT，是否能提升低资源设置下的论辩关系预测性能？
• RQ2 话语关系理论（RST）的话语关系在区分在线讨论中支持与攻击关系方面有何贡献？
• RQ3 上下文窗口化在不显著降低召回率的前提下，能在多大程度上提升关系预测的精确率？
• RQ4 来自 RST 解析器的话语感知特征是否能与 BERT 嵌入表示互补，从而超越仅依赖上下文表示的模型？
• RQ5 所提方法在真实世界在线辩论线程中捕捉内部轮次与跨轮次论辩关系方面的有效性如何？

主要发现

• 该模型在 +1 窗口下实现了 39.3 的 F1 分数，显著优于先前最先进模型，用于内部轮次关系预测。
• 使用 +2 窗口可将精确率提升至 32.5%，F1 分数达到 39.3%，表明上下文裁剪在高召回场景下能有效提升精确率。
• 引入 RST 话语关系显著提升了关系预测性能，尤其在对抗性关系（如对立）方面表现突出。
• 在 IMHO+context 数据上训练的模型能正确识别未见样本中的论辩关系，显示出对领域偏移的鲁棒性。
• BERT 微调与 RST 特征的结合在 +3 窗口下实现了 35.6 的 F1 分数，用于内部轮次关系预测，优于缺乏话语监督的模型。
• 通过缩小上下文窗口，该方法减少了误报，+1 窗口下取得最高 F1 分数（44.1），表明在召回与精确率之间实现了最佳平衡。