[논문 리뷰] On the Use of BERT for Automated Essay Scoring: Joint Learning of Multi-Scale Essay Representation

Yongjie Wang, Chuan Wang외 2명|arXiv (Cornell University)|2022. 05. 08.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 BERT를 사용하여 다중 척도 에세이 표현을 위한 공동 학습 프레임워크를 제안하며, 문서, 문장, 토큰 수준의 특징을 통합하여 자동 에세이 채점(AES) 성능을 향상시킨다. 다양한 손실 함수(MSE, 랭킹, 점수 분포)를 결합하고, 도메인 외 에세이에서의 전이 학습 및 R-Drop를 활용하여, ASAP에서 QWK 0.791의 거의 최신 기술 수준의 성능을 달성하였으며, CommonLit 읽기 어려움 상을 비롯한 장문 텍스트 작업으로의 일반화 능력도 뛰어나다.

ABSTRACT

In recent years, pre-trained models have become dominant in most natural language processing (NLP) tasks. However, in the area of Automated Essay Scoring (AES), pre-trained models such as BERT have not been properly used to outperform other deep learning models such as LSTM. In this paper, we introduce a novel multi-scale essay representation for BERT that can be jointly learned. We also employ multiple losses and transfer learning from out-of-domain essays to further improve the performance. Experiment results show that our approach derives much benefit from joint learning of multi-scale essay representation and obtains almost the state-of-the-art result among all deep learning models in the ASAP task. Our multi-scale essay representation also generalizes well to CommonLit Readability Prize data set, which suggests that the novel text representation proposed in this paper may be a new and effective choice for long-text tasks.

연구 동기 및 목표

• BERT가 다른 NLP 작업에서는 성공을 거두었음에도 불구하고 AES에서의 성능 부족 문제를 해결하기 위해.
• BERT 내부에서 문서, 문장, 토큰 수준의 다중 척도 특징을 명시적으로 모델링하여 에세이 채점 성능을 향상시키기 위해.
• 데이터 부족 문제를 해결하기 위해 도메인 외 에세이에서의 전이 학습을 활용하기 위해.
• 인간 평가자의 행동을 반영한 다중 손실 최적화를 통해 모델의 일반화 능력과 강건성을 향상시키기 위해.
• 장문 텍스트 채점 작업으로의 다중 척도 표현의 효과성을 입증하기 위해.

제안 방법

• BERT를 사용하여 문서, 문장, 토큰 수준에서 특징을 추출하는 다중 척도 에세이 표현 프레임워크를 도입한다.
• 다양한 척도에서 동시에 학습할 수 있도록 공동 학습 전략을 적용하여 특징 통합을 향상시킨다.
• 세 가지 손실 함수를 사용한다: 평균 제곱 오차(MSE), 랭킹 손실(MR), 점수 분포 손실(SIM)으로 인간 평가자 행동에 더 잘 부합시키기 위해.
• 제한된 AES 데이터에서 과적합을 방지하고 일반화 능력을 향상시키기 위해 훈련 중 R-Drop 정규화를 적용한다.
• 목표 AES 데이터셋에 대한 미세조정 이전에 도메인 외 에세이에서 사전 훈련을 수행함으로써 전이 학습을 수행한다.
• 다중 척도 특징 추출 및 회귀를 위해 공유 BERT 인코더와 작업별 헤드를 활용한다.

실험 결과

연구 질문

• RQ1 다중 척도 에세이 표현의 공동 학습이 BERT의 자동 에세이 채점 성능 향상에 기여하는가?
• RQ2 인간 평가자 행동을 반영하는 다중 손실 함수의 통합이 모델 성능 향상과 일반화 능력 향상에 기여하는가?
• RQ3 도메인 외 에세이에서의 전이 학습이 데이터 부족 문제를 완화하고 저자원 AES 환경에서의 채점 정확도를 향상시키는가?
• RQ4 다중 척도 표현 프레임워크가 원래 데이터셋을 초월한 장문 텍스트 채점 작업으로 효과적으로 일반화되는가?
• RQ5 성능 향상 요인이 다중 척도 모델링 때문인지, 또는 단지 장기적 문맥 주의 메커니즘의 기능 때문인가?

주요 결과

• 제안된 다중 척도 BERT 모델(BERT-DOC-TOK-SEG)은 ASAP 데이터셋에서 평균 QWK 0.782를 기록하여 단일 척도 모델들(예: BERT-DOC: 0.746, BERT-DOC-TOK: 0.771)보다 유의미하게 뛰어난 성능을 보였다.
• 다중 척도 표현을 적용한 모델(BERT-DOC-TOK-SEG)은 CRP 데이터셋에서 RMSE 0.607을 기록하여 장문 텍스트 독해도 채점으로의 강력한 일반화 능력을 입증하였다.
• R-Drop를 활용한 전이 학습은 QWK를 기본 모델의 0.782에서 Tran-BERT-MS-ML-R의 0.791로 향상시켜 다중 손실 및 정규화의 효과를 입증하였다.
• Longformer-DOC-TOK-SEG가 Longformer-DOC보다 유의미하게 높은 성능(유의수준 p < 0.0001)을 보인 것은 다중 척도 모델링이 성능 향상의 핵심 요인임을 확인하며, 단지 장기적 문맥 지원 때문이 아니라는 것을 입증한다.
• MSE, 랭킹(MR), 점수 분포(SIM) 손실의 공동 적용은 더 나은 최적화와 더 강건한 점수 분포를 이끌어내어 앙상블 성능 향상에 기여하였다.
• 모델은 학습 도메인을 초월하여 잘 일반화되어 CommonLit Readability Prize 데이터셋에서도 뛰어난 성능을 기록하였으며, 이는 장문 텍스트 작업으로의 넓은 적용 가능성을 시사한다.