[论文解读] ALL-IN-ONE: Multi-Task Learning BERT models for Evaluating Peer Assessments

Qinjin Jia, Jialin Cui+4 more|arXiv (Cornell University)|Oct 8, 2021

Student Assessment and Feedback被引用 27

一句话总结

该论文基于 BERT 和 DistilBERT 构建单任务和多任务模型，自动评估同行评审评论在三个特征（建议、问题、正向语气）上的表现，结果显示 BERT 优于 GloVe，且多任务学习提升性能并缩减模型规模。

ABSTRACT

Peer assessment has been widely applied across diverse academic fields over the last few decades and has demonstrated its effectiveness. However, the advantages of peer assessment can only be achieved with high-quality peer reviews. Previous studies have found that high-quality review comments usually comprise several features (e.g., contain suggestions, mention problems, use a positive tone). Thus, researchers have attempted to evaluate peer-review comments by detecting different features using various machine learning and deep learning models. However, there is no single study that investigates using a multi-task learning (MTL) model to detect multiple features simultaneously. This paper presents two MTL models for evaluating peer-review comments by leveraging the state-of-the-art pre-trained language representation models BERT and DistilBERT. Our results demonstrate that BERT-based models significantly outperform previous GloVe-based methods by around 6% in F1-score on tasks of detecting a single feature, and MTL further improves performance while reducing model size.

研究动机与目标

• 推动对同行评审质量的自动评估，以确保高质量的反馈。
• 开发能够同时检测多种评审特征的模型。
• 比较 GloVe、BERT 和 DistilBERT 在单任务与多任务设置中的表现。
• 评估数据效率和资源使用情况（模型大小、推理时间）。
• 为在同行评审平台部署高准确性与轻量级模型提供指导。

提出的方法

• 以 Transformer 为基础的编码器，BERT 和 DistilBERT 作为骨干。
• 将三项二分类任务形式化：建议、问题、正向语气。
• 实现单任务学习（STL），每个任务一个分类头；以及多任务学习（MTL），共享骨干和三个头。
• 以交叉熵损失进行训练；应用带代价的加权以解决轻度类别不平衡。
• 在 Expertiza 数据集的 12,053 条同行评审 comments 上进行微调。
• 在不同训练集规模（1k、3k、5k）下，使用准确率、宏-F1 和 AUC 进行评估。

实验结果

研究问题

• RQ1 BERT 是否在单任务检测评审特征方面优于基于 GloVe 的方法？
• RQ2 与单任务学习相比，多任务学习是否在性能和数据效率方面有所提升？
• RQ3 在 STL 与 MTL 的情况下，DistilBERT 相较于 BERT 在准确性和模型大小方面的表现如何？
• RQ4 STL 与 MTL 配置的参数成本如何，哪一种更适合高准确性或资源受限场景？

主要发现

• 基于 BERT 的 STL 在所有任务中显著优于基于 GloVe 的 STL，能够在较少标注样本下实现高准确性。
• MTL 提高了对建议和正向语气检测的性能，尤其是在数据受限时，并减少了整体模型规模。
• BERT 在准确性上略胜 DistilBERT，但 DistilBERT 在准确性/大小的权衡上具有优势。
• 参数总量：STL-BERT 328M 与 MTL-BERT 109M；STL-DistilBERT 199M 与 MTL-DistilBERT 66M；表明使用 MTL 可实现显著的内存节省。
• 在 5k 标注样本下，MTL-BERT 在 Suggestion 上达到 94.8% 的准确率、Problem 91.0%、Positive Tone 90.8%（AUC 和 Macro-F1 也很高）。
• 当高准确性为优先时，推荐使用 MTL 模型；对于更轻量级部署，推荐 MTL-DistilBERT。