[논문 리뷰] Automated essay scoring using efficient transformer-based language models

Christopher M. Ormerod, Akanksha Malhotra외 1명|arXiv (Cornell University)|2021. 02. 25.

Topic Modeling인용 수 24

한 줄 요약

이 논문은 자동 에세이 채점(AES)에 효율적이고 소형의 트랜스포머 기반 언어 모델—예를 들어 Mobile-BERT, Electra, Reformer—을 사용하는 것을 제안하며, 이러한 모델들을 앙상블화하면 BERT와 같은 더 큰 모델보다 훨씬 적은 파라미터 수와 낮은 계산 비용으로 ASAP AES 데이터셋에서 최신 기술 수준의 성능을 달성할 수 있음을 보여준다. 이 접근 방식은 NLP 분야에서 '크면 클수록 좋다'는 관념을 도전하며, 적절히 미세조정하고 앙상블화된 더 작은, 더 효율적인 모델이 더 큰 모델을 능가할 수 있음을 보여준다.

ABSTRACT

Automated Essay Scoring (AES) is a cross-disciplinary effort involving Education, Linguistics, and Natural Language Processing (NLP). The efficacy of an NLP model in AES tests it ability to evaluate long-term dependencies and extrapolate meaning even when text is poorly written. Large pretrained transformer-based language models have dominated the current state-of-the-art in many NLP tasks, however, the computational requirements of these models make them expensive to deploy in practice. The goal of this paper is to challenge the paradigm in NLP that bigger is better when it comes to AES. To do this, we evaluate the performance of several fine-tuned pretrained NLP models with a modest number of parameters on an AES dataset. By ensembling our models, we achieve excellent results with fewer parameters than most pretrained transformer-based models.

연구 동기 및 목표

• 자신감 있는 NLP 모델이 항상 자동 에세이 채점(AES)에 더 좋다는 기존의 가정을 도전하기 위해.
• ASAP AES 데이터셋에서 소형이고 효율적인 트랜스포머 모델—예를 들어 Mobile-BERT, Electra, Reformer—의 성능을 평가하기 위해.
• 경량 아키텍처를 사용한 모델 앙상블이 BERT와 같은 더 큰 모델보다 뛰어난 결과를 낼 수 있음을 보여주기 위해.
• 자원 제약이 있는 장치에서의 구현을 가능하게 하기 위해 AES 시스템의 계산 및 메모리 오버헤드를 줄이기 위해.
• 모델의 크기를 늘리지 않고도 환경 친화적인 NLP를 촉진하기 위해, 미세조정된 모델의 탄소 배출량을 최소화하기 위해.

제안 방법

• ASAP AES 데이터셋에서 여러 효율적인 트랜스포머 모델—Mobile-BERT, Electra, 그리고 자체 구현한 6층 Reformer—을 5겹 교차검증 분할을 사용하여 미세조정하였다.
• 회귀 방식의 채점에 적합한 평균 제곱오차(MSE) 손실을 사용하였으며, 이는 이산 점수를 [0,1] 범위 내 동일한 간격의 중앙값으로 매핑하였다.
• 각 모델의 하이퍼파라미터를 최적화하기 위해 학습률과 배치 크기의 그리드 서치를 적용하였다.
• RTX 8000에서 큰 에세이 코퍼스를 사용해 512개의 은닉 유닛, 4개의 어텐션 헤드, 4개의 해싱 함수, 16,000개의 서어절 토큰을 사용한 자체 구현 Reformer 모델을 훈련시켰다.
• 최고 성능을 낸 모델들(예: Mobile-BERT와 Electra)의 예측을 평균화한 후 최종 점수로 반올림하여 앙상블을 구현하였다.
• 표준 평가 지표를 사용: 2차 가중 카파계수(QWK), 표준화된 평균 차이(SMD), 정확도(Acc).

실험 결과

연구 질문

• RQ1 더 작은, 더 효율적인 트랜스포머 모델들이 BERT와 같은 더 큰 모델보다 자동 에세이 채점에서 경쟁력 있거나 더 뛰어난 성능을 낼 수 있는가?
• RQ2 여러 개의 경량 모델을 앙상블하면 개별 모델이나 BERT의 성능을 뛰어넘을 수 있는가?
• RQ3 Reformer 및 Mobile-BERT와 같은 효율적인 아키텍처가 표준 트랜스포머보다 더 긴 에세이에 대해 더 나은 길이 스케일러빌리티를 보일 수 있는가?
• RQ4 아키텍처의 효율성은 정확도를 희생시키지 않고 계산 비용과 탄소 배출량을 얼마나 줄일 수 있는가?
• RQ5 수작업으로 만든 특징 또는 추가 정규화는 모델 크기를 늘리지 않고도 경량 모델의 성능을 향상시킬 수 있는가?

주요 결과

• Mobile-BERT와 Electra의 앙상블는 BERT 단독보다 더 높은 QWK 성능을 기록하였으며, 파라미터 수가 약 1/3 수준이었다.
• Electra와 Mobile-BERT는 개별적으로도 BERT를 초월하여 ASAP 데이터셋에서 더 뛰어난 성능을 보였으며, 이는 아키텍처의 효율성이 성능 향상에 기여할 수 있음을 시사한다.
• 자체 제작한 Reformer 모델은 최대 1024 토큰까지의 긴 시퀀스를 성공적으로 처리하여, 표준 트랜스포머가 에세이 채점에서 겪는 핵심 한계를 해결하였다.
• 최고 성능을 낸 모델들은 BERT 및 BERT 확장 모델에서 보고된 성능을 뛰어넘는 QWK 점수를 기록하여, 경량 모델의 새로운 기준을 설정하였다.
• 앙상블화가 성능 향상에 상당한 기여를 하였으며, 이는 효율적인 아키텍처 간의 상호보완적 강점 때문임을 시사한다.
• 본 연구는 더 작은 모델이 계산 및 환경 비용을 크게 줄이며 더 큰 모델과 동일하거나 그 이상의 성능을 낼 수 있음을 입증하였다.