[논문 리뷰] Short-answer scoring with ensembles of pretrained language models

Christopher M. Ormerod|arXiv (Cornell University)|2022. 02. 23.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 캐글 ASAS 데이터셋에서 자동 단답항목 채점에 대해 사전 훈련된 트랜스포머 기반 언어 모델의 앙상블을 조사한다. 개별적으로 큰 모델은 최신 규칙 기반 방법보다 성능이 열 劣하지만, 상위 성능을 내는 큰 모델들(예: RoBERTa-large, Electra-large)의 앙상블은 높은 계산 비용을 감수하면서도 최신 기술 수준의 성능을 달성한다. 이는 실전 환경에서 정확도와 구현 가능성 사이의 상충 관계를 드러낸다.

ABSTRACT

We investigate the effectiveness of ensembles of pretrained transformer-based language models on short answer questions using the Kaggle Automated Short Answer Scoring dataset. We fine-tune a collection of popular small, base, and large pretrained transformer-based language models, and train one feature-base model on the dataset with the aim of testing ensembles of these models. We used an early stopping mechanism and hyperparameter optimization in training. We observe that generally that the larger models perform slightly better, however, they still fall short of state-of-the-art results one their own. Once we consider ensembles of models, there are ensembles of a number of large networks that do produce state-of-the-art results, however, these ensembles are too large to realistically be put in a production environment.

연구 동기 및 목표

• 캐글 ASAS 데이터셋을 사용하여 사전 훈련된 트랜스포머 기반 언어 모델의 효과성을 평가하는 것.
• 이러한 모델의 앙상블이 기존의 규칙 기반 기준을 초월할 수 있는지 여부를 판단하는 것.
• 이러한 모델을 실제 교육 평가 시스템에 구현 가능한지 평가하는 것.
• ASAS 벤치마크에서 최적의 성능을 내는 데에 가장 적합한 모델 아키텍처와 앙상블 구성 요소를 식별하는 것.
• 자동 채점 시스템에서 높은 성능을 내는 모델과 실용적 배포 제약 조건 사이의 격차를 탐색하는 것.

제안 방법

• KSAS 데이터셋에서 BERT, RoBERTa, Electra, DeBERTa, DistilBERT 등 다양한 크기의 사전 훈련된 트랜스포머 모델을 미세조정하였다.
• 일반화 및 수렴을 향상시키기 위해 훈련 중 조기 정지 및 하이퍼파rameter 최적화를 적용하였다.
• 신경망 성능과 비교하기 위해 규칙 기반 특징을 사용하는 별도의 특징 기반 모델을 훈련시켰다.
• 예측 결과를 평균 내거나 투표 전략을 사용하여 상위 성능을 내는 개별 모델들의 예측을 조합함으로써 앙상블을 구성하였다.
• Cohen의 2차 가중 키파(Quadratic Weighted Kappa, QWK) 및 표준화된 평균 차이(Standardized Mean Difference, SMD)와 같은 표준 NLP 메트릭을 사용하여 모델을 평가하였다.
• 모델 선택을 안내하기 위해 모델 용량과 일반화 잠재력의 지표로 GLUE 벤치마크를 사용하였다.

실험 결과

연구 질문

• RQ1 큰 사전 훈련된 언어 모델의 앙상블은 캐글 자동 단답항목 채점 데이터셋에서 최신 기술 수준의 규칙 기반 방법을 능가할 수 있는가?
• RQ2 모델 크기와 아키텍처(예: RoBERTa, Electra, BERT)는 단답항목 채점 작업에서 성능에 어떤 영향을 미치는가?
• RQ3 개별 사전 훈련된 모델이 규칙 기반 시스템을 얼마나 뛰어나게 성능을 내며, 어떤 프롬프트에서 실패하는가?
• RQ4 앙상블로 최신 기술 수준 성능을 달성하는 데 드는 계산 비용은 얼마이며, 실시간 또는 자원 제한 환경에서의 배포에 실현 가능한가?
• RQ5 특징 공학과 딥러닝을 조합하면 순수 신경망 앙상블을 뛰어넘는 성능 향상을 이룰 수 있는가?

주요 결과

• 상위 3개의 큰 모델(예: RoBERTa-large, Electra-large, DeBERTa-base)의 앙상블은 테스트 세트에서 최신 기술 수준의 성능을 달성하였으며, QWK 및 SMD 메트릭에서 [10]의 벤치마크를 초과하였다.
• 가장 뛰어난 개별 모델은 RoBERTa-large였고, 그 다음으로 Electra-large, Electra-base였으며, 개발 세트와 테스트 세트 간 성능 순서가 다소 달라졌다.
• 일부 프롬프트에서 뛰어난 성능를 보였음에도 불구하고, 어떤 단일 사전 훈련된 모델도 모든 프롬프트에서 [10]의 규칙 기반 벤치마크를 초월하지 못했으며, 특히 프롬프트 10에서 성능이 열 劣하였다.
• 최상의 3개 모델의 앙상블은 개발 세트에서 QWK 0.936과 SMD 0.047를 기록하여 인간 채점과의 높은 일치도를 보였다.
• 가장 효율적인 모델들(예: DistilBERT, MobileBERT)조차도 최상의 앙상블에 비해 성능이 열 劣하여, 성능 향상은 모델 용량과 다양성에서 기인한다는 점을 시사하였다.
• 최상의 앙상블(약 87500만 파라미터)의 계산 비용은 실시간 또는 자원 제한 환경에서의 실용적 배포에 부적합하다.