[논문 리뷰] ALL-IN-ONE: Multi-Task Learning BERT models for Evaluating Peer Assessments

Qinjin Jia, Jialin Cui외 4명|arXiv (Cornell University)|2021. 10. 08.

Student Assessment and Feedback인용 수 27

한 줄 요약

요약: 본 논문은 세 가지 특징(제안, 문제, 긍정적 어조)에 걸쳐 피어리뷰 코멘트를 자동 평가하기 위해 BERT 및 DistilBERT 기반의 단일 작업 및 다중 작업 모델을 개발하고, BERT가 GloVe보다 우수하며 다중 작업 학습이 성능을 향상시키고 모델 크기를 감소시킨다는 것을 보여준다.

ABSTRACT

Peer assessment has been widely applied across diverse academic fields over the last few decades and has demonstrated its effectiveness. However, the advantages of peer assessment can only be achieved with high-quality peer reviews. Previous studies have found that high-quality review comments usually comprise several features (e.g., contain suggestions, mention problems, use a positive tone). Thus, researchers have attempted to evaluate peer-review comments by detecting different features using various machine learning and deep learning models. However, there is no single study that investigates using a multi-task learning (MTL) model to detect multiple features simultaneously. This paper presents two MTL models for evaluating peer-review comments by leveraging the state-of-the-art pre-trained language representation models BERT and DistilBERT. Our results demonstrate that BERT-based models significantly outperform previous GloVe-based methods by around 6% in F1-score on tasks of detecting a single feature, and MTL further improves performance while reducing model size.

연구 동기 및 목표

• 피어리뷰 품질의 자동 평가를 통해 고품질 피드백을 보장하려는 동기를 부여한다.
• 여러 개의 피드백 특징을 동시에 탐지하는 모델을 개발한다.
• 단일 작업 설정에서 GloVe, BERT, DistilBERT를 비교한다.
• 데이터 효율성과 자원 사용을 평가한다(모델 크기, 추론 시간).
• 피어리뷰 플랫폼에서 고정밀도 vs. 경량 모델 배치를 위한 가이드를 제공한다.

제안 방법

• Transformer 기반 인코더를 BERT 및 DistilBERT를 백본으로 사용한다.
• 세 가지 이진 분류 작업을 형식화한다: 제안(Suggestion), 문제(Problem), 긍정적 어조(Positive Tone).
• 단일 작업 학습(STL)에서는 각 작업당 하나의 분류 헤드를 두고, 다중 작업 학습(MTL)에서는 공유 백본과 세 개의 헤드를 사용한다.
• 교차 엔트로피 손실로 학습하되, 경미한 클래스 불균형을 다루기 위해 비용 민감 가중치를 적용한다.
• Expertiza 데이터셋의 피어리뷰 코멘트 12,053개에 대해 사전 학습된 모델을 미세조정한다.
• 다양한 학습 데이터 크기(1k, 3k, 5k)에서 정확도, 매크로-F1, AUC로 평가한다.

실험 결과

연구 질문

• RQ1 BERT가 단일 작업 검출에서 이전의 GloVe 기반 접근법을 능가하는가?
• RQ2 다중 작업 학습이 단일 작업 학습에 비해 성능과 데이터 효율성을 향상시키는가?
• RQ3 DistilBERT가 STL 및 MTL에서 정확도와 모델 크기 측면에서 BERT와 비교해 어떤 차이가 있는가?
• RQ4 STL vs. MTL 구성이 가지는 매개변수 비용은 얼마이며, 높은 정확도 대 자원 제약에 어떤 구성이 더 바람직한가?

주요 결과

모델	Suggestion_Acc	Suggestion_MacroF1	Suggestion_AUC	Problem_Acc	Problem_MacroF1	Problem_AUC	PosTone_Acc	PosTone_MacroF1	PosTone_AUC
STL-GloVe (Baseline)	89.9%	0.852	0.947	84.2%	0.832	0.908	85.0%	0.794	0.883
STL-BERT	94.4%	0.916	0.980	91.2%	0.912	0.968	89.4%	0.852	0.950
MTL-BERT	94.8%	0.922	0.982	91.0%	0.908	0.966	90.8%	0.854	0.951
STL-DistilBERT	94.2%	0.912	0.978	90.4%	0.902	0.964	89.8%	0.860	0.944
MTL-DistilBERT	94.2%	0.914	0.980	90.4%	0.902	0.964	90.6%	0.852	0.951

• BERT 기반의 STL은 모든 작업에서 GloVe 기반 STL보다 크게 우수하여 더 적은 라벨 샘플로도 높은 정확도를 달성한다.
• MTL은 제안 및 긍정적 어조 탐지에서 데이터가 제한된 경우에 특히 성능을 향상시키고 전반적인 모델 크기를 감소시킨다.
• BERT가 DistilBERT보다 정확도 면에서 약간 우수하지만, DistilBERT는 정확도/크기 측면의 우호적인 트레이드오프를 제공한다.
• 총 매개변수수: STL-BERT 328M 대 MTL-BERT 109M; STL-DistilBERT 199M 대 MTL-DistilBERT 66M; MTL의 메모리 절감 효과가 크다.
• 5k 라벨 샘플에서 MTL-BERT는 제안에서 94.8%, 문제에서 91.0%, 긍정적 어조에서 90.8%의 정확도(AUC 및 Macro-F1도 높다)를 달성한다.
• 고성능이 우선인 경우 MTL 모델을 권장하며, 경량 배치를 위한 배포에는 MTL-DistilBERT를 선호한다.