[论文解读] Argument Mining Driven Analysis of Peer-Reviews Dataset

Michael Fromm, , Berrendorf+2 more|arXiv (Cornell University)|Dec 10, 2020

Software Engineering Research参考文献 26被引用 6

一句话总结

本文提出了一种论点挖掘方法，以自动化识别同行评审中的关键论点，使编辑和审稿人能够聚焦于最相关的内容。基于来自计算机科学会议的新标注同行评审数据集，作者表明，仅使用50%的文本选择最具论辩性的句子，即可在论文录用预测中实现接近完整评审的性能，证明同行评审决策本质上是由论点驱动的。

ABSTRACT

Argument Mining in Scientific Reviews (AMSR) We release a new dataset of peer-reviews from different computer science conferences with annotated arguments, called AMSR (<strong>A</strong>rgument <strong>M</strong>ining in <strong>S</strong>cientific <strong>R</strong>eviews).<br> <br> The dataset has been crawled by the OpenReview platform (https://openreview.net/) and the OpenReviewCrawler (https://openreview-py.readthedocs.io/en/latest/getting data.html)<br> <br> From 12,135 collected papers and reviews, we sample 77 for the annotation.<br> We use a simple argumentation scheme, which distinguishes between non-arguments, supporting arguments, and attacking arguments, which we denote as NON/PRO/CON accordingly.

研究动机与目标

• 为应对同行评审工作量不断增长的问题，通过自动化提取决策关键论点。
• 证明论辩在科学出版物编辑决策中的核心作用。
• 开发并评估一种针对同行评审独特语言和结构特征量身定制的论点挖掘框架。
• 为研究社区提供一个新公开的、带有论点标注的同行评审数据集。
• 评估论点挖掘模型在不同会议和领域之间的可迁移性与泛化能力。

提出的方法

• 使用自定义的论点挖掘模式对来自计算机科学会议的同行评审数据集进行标注，以标记主张、前提和立场。
• 利用标注数据集训练并评估最先进神经模型（如 PeerBERT-L）在句子级别的论点检测性能。
• 应用基于 ToBERT 的模型，基于聚合的评审段落对论文录用/拒稿进行分类。
• 比较三种评审选择策略：完整评审、最具论辩性的前-k 个句子，以及随机选择的-k 个句子，以评估决策性能。
• 使用论辩性可能性得分对句子进行优先排序，确保可解释性，同时保留上下文信息。
• 在不同领域和会议之间对模型可迁移性进行广泛的消融研究。

实验结果

研究问题

• RQ1 同行评审决策在多大程度上是由论辩性内容而非一般信息驱动的？
• RQ2 论点挖掘在识别同行评审中对编辑决策最相关部分方面的有效性如何？
• RQ3 在同行评审数据上微调的模型是否在论点检测中优于跨领域迁移模型？
• RQ4 论点挖掘模型在不同计算机科学会议之间的泛化能力如何？
• RQ5 仅选择最具论辩性的句子是否能达到与使用完整评审相当的决策性能？

主要发现

• 基于论辩性可能性得分选择前50%的句子，在录用分类任务中实现与完整评审几乎相同的F1分数，证明了其在决策支持中的高效率。
• 同行评审领域具有独特的语言和结构特征，使得从通用领域论点挖掘模型迁移无效，因此必须进行领域特定的标注与训练。
• 同行评审中论辩性内容的比例很高——在标注数据集中占60%，证实论点是决策过程的核心。
• 在同行评审数据上微调的模型显著优于跨领域迁移模型，表明领域适应对高性能至关重要。
• 论点挖掘的使用实现了可解释的决策支持，因为提取出的论点保持了上下文关联性，并可在原始评审中高亮显示。
• 随机选择句子的性能显著低于基于论辩性的选择，证实论辩性是决策相关性的一个有意义信号。