[论文解读] IMHO Fine-Tuning Improves Claim Detection

Tuhin Chakrabarty, Christopher Hidey+1 more|arXiv (Cornell University)|May 16, 2019

Topic Modeling参考文献 12被引用 7

一句话总结

本文提出在包含550万条自标注观点性主张的大型Reddit语料库上微调预训练语言模型，以提升跨领域主张检测性能。通过利用通用语言模型微调（ULMFiT）方法，该方法在四个不同论辩数据集上平均F1值相较当前最先进模型提升4个百分点，证明其在社交媒体和学生作文等场景中具备稳健的泛化能力。

ABSTRACT

Claims are the central component of an argument. Detecting claims across different domains or data sets can often be challenging due to their varying conceptualization. We propose to alleviate this problem by fine tuning a language model using a Reddit corpus of 5.5 million opinionated claims. These claims are self-labeled by their authors using the internet acronyms IMO/IMHO (in my (humble) opinion). Empirical results show that using this approach improves the state of art performance across four benchmark argumentation data sets by an average of 4 absolute F1 points in claim detection. As these data sets include diverse domains such as social media and student essays this improvement demonstrates the robustness of fine-tuning on this novel corpus.

研究动机与目标

• 为解决不同领域论辩数据集中主张概念化不一致的挑战。
• 通过利用大规模、自标注的观点性语料，提升跨领域主张检测性能。
• 探究是否可通过语言模型微调捕捉观点性主张中的共享语言模式。
• 发布一个包含550万条来自Reddit的新型大规模观点性主张语料，以支持未来计算论辩研究。

提出的方法

• 挖掘包含缩写词IMO或IMHO的Reddit评论，收集550万条自标注的观点性主张。
• 使用通用语言模型微调（ULMFiT）在IMHO语料上微调预训练语言模型，再在下游主张检测任务上进行微调。
• 在每个基准数据集上使用微调后的语言模型训练最终分类器，以检测主张。
• 在四个不同论辩数据集（WD、IMHO、MT和PE）上评估性能，以F1分数为主要指标。
• 对误分类样本进行错误分析，以评估模型偏差和上下文限制。
• 探索未来使用BERT类模型联合建模主张-前提关系与上下文的扩展方向。

实验结果

研究问题

• RQ1 在大规模自标注观点性语料上微调的语言模型，是否能提升在多样化、跨领域数据集上的主张检测性能？
• RQ2 观点性主张中哪些共享语言特征使得在不同定义主张的领域间实现迁移学习成为可能？
• RQ3 来自Reddit的非正式、自标注主张（如IMHO）是否能提供稳健的信号，使主张检测能力超越训练领域？
• RQ4 该模型在标准基准数据集上的性能与先前最先进方法相比如何？
• RQ5 该模型主要产生哪些错误？这些错误是否可归因于缺乏上下文信息？

主要发现

• 在550万条IMHO标注的Reddit主张上微调语言模型，使在四个基准论辩数据集上的平均F1值提升4个百分点。
• 该方法在所有四个数据集（WD、IMHO、MT和PE）上均达到最先进性能，证明其具备强大的跨领域泛化能力。
• 错误分析显示，当缺乏上下文支持时，模型有时会将前提误分类为主张，表明需要引入上下文感知建模。
• 模型倾向于将比较性或情态性陈述（如“比……安全得多”、“应该”）误分类为主张，即使它们并非主张，表明存在潜在的词汇偏差。
• 结果证实，观点性主张中的共享词汇和句法模式可通过迁移学习有效捕捉。
• IMHO数据集的发布有望支持未来计算论辩与主张检测领域的研究。