[論文レビュー] ALL-IN-ONE: Multi-Task Learning BERT models for Evaluating Peer Assessments

Qinjin Jia, Jialin Cui+4 more|arXiv (Cornell University)|Oct 8, 2021

Student Assessment and Feedback被引用数 27

ひとこと要約

論文は、3つの特徴（提案、問題、肯定的トーン）に跨るピアレビューコメントを自動評価するために、BERTおよびDistilBERTベースの単一タスクおよびマルチタスクモデルを開発し、BERTがGloVeを上回り、マルチタスク学習が性能を向上させ、モデルサイズを削減することを示しています。

ABSTRACT

Peer assessment has been widely applied across diverse academic fields over the last few decades and has demonstrated its effectiveness. However, the advantages of peer assessment can only be achieved with high-quality peer reviews. Previous studies have found that high-quality review comments usually comprise several features (e.g., contain suggestions, mention problems, use a positive tone). Thus, researchers have attempted to evaluate peer-review comments by detecting different features using various machine learning and deep learning models. However, there is no single study that investigates using a multi-task learning (MTL) model to detect multiple features simultaneously. This paper presents two MTL models for evaluating peer-review comments by leveraging the state-of-the-art pre-trained language representation models BERT and DistilBERT. Our results demonstrate that BERT-based models significantly outperform previous GloVe-based methods by around 6% in F1-score on tasks of detecting a single feature, and MTL further improves performance while reducing model size.

研究の動機と目的

• ピアレビューの品質を自動的に評価する動機づけとなる仕組みを提案する。
• 複数のレビュー特徴を同時に検出できるモデルを開発する。
• 単一タスク設定とマルチタスク設定におけるGloVe、BERT、DistilBERTを比較する。
• データ効率とリソース使用量（モデルサイズ、推論時間）を評価する。
• ピアレビュー プラットフォームで高精度なモデルと軽量モデルの運用方針を提供する。

提案手法

• TransformerベースのエンコーダをバックボーンとしてBERTおよびDistilBERTを使用する。
• 三つの二値分類タスクを形式化する：提案、問題、肯定的トーン。
• 単一タスク学習（STL）を、各タスクごとに1つの分類ヘッドを用いて実装し、共有バックボーンと3つのヘッドを用いるマルチタスク学習（MTL）を実装する。
• クロスエントロピー損失で訓練し、 mildなクラス不均衡に対処するためコスト感知重み付けを適用する。
• Expertizaデータセットの12,053件のピアレビューコメントを用いて事前学習済みモデルを微調整する。
• 訓練データサイズを変化させた場合の精度、Macro-F1、AUCを評価する（1k、3k、5k）。

実験結果

リサーチクエスチョン

• RQ1 BERTは単一タスク検出の従来のGloVeベースアプローチより優れているか。
• RQ2 マルチタスク学習は、単一タスク学習と比較して性能とデータ効率を改善するか。
• RQ3 DistilBERTは STL および MTL において、精度とモデルサイズの点で BERT とどう比較されるか。
• RQ4 STL 対 MTL のパラメータコストはどの程度で、高精度を優先するか軽量化を優先するか、どちらが適しているか。

主な発見

モデル	提案_正解率	提案_Macro-F1	提案_AUC	問題_正解率	問題_Macro-F1	問題_AUC	PosTone_正解率	PosTone_Macro-F1	PosTone_AUC
STL-GloVe (Baseline)	89.9%	0.852	0.947	84.2%	0.832	0.908	85.0%	0.794	0.883
STL-BERT	94.4%	0.916	0.980	91.2%	0.912	0.968	89.4%	0.852	0.950
MTL-BERT	94.8%	0.922	0.982	91.0%	0.908	0.966	90.8%	0.854	0.951
STL-DistilBERT	94.2%	0.912	0.978	90.4%	0.902	0.964	89.8%	0.860	0.944
MTL-DistilBERT	94.2%	0.914	0.980	90.4%	0.902	0.964	90.6%	0.852	0.951

• BERTベースのSTLはGloVeベースのSTLをすべてのタスクで著しく上回り、ラベル付きデータが少なくても高精度を達成できる。
• MTLは提案と肯定的トーン検出の性能をデータが限られている場合に特に向上させ、全体のモデルサイズを削減する。
• BERTはDistilBERTより精度でわずかに上回るが、DistilBERTは精度とサイズのトレードオフが良好。
• 総パラメータ数：STL-BERT 328M 対 MTl-BERT 109M；STL-DistilBERT 199M 対 MTL-DistilBERT 66M；MTLで大幅なメモリ節約を示す。
• 5kのラベル付きサンプルで、MTL-BERTは提案で94.8%、問題で91.0%、肯定的トーンで90.8%の精度（AUCおよびMacro-F1も高い）を達成する。
• 高精度を最優先する場合はMTLモデルを推奨。軽量なデプロイにはMTL-DistilBERTを推奨。