[논문 리뷰] EduBERT: Pretrained Deep Language Models for Learning Analytics

Benjamin Clavié, Kobi Gal|arXiv (Cornell University)|2019. 12. 02.

Topic Modeling참고 문헌 10인용 수 19

한 줄 요약

EduBERT는 다양한 온라인 강좌의 학생 포럼 데이터로 미세조정된 도메인 특화 BERT 기반 언어 모델로, 학습 분석 성능을 향상시킵니다. 교육 분야의 세 가지 텍스트 분류 과제에서 최신 기술 수준의 성능을 달성하며, 정제된 버전은 낮은 계산 비용으로 유사한 성능을 제공합니다. 두 모델 모두 연구 목적을 위해 공개되어 있습니다.

ABSTRACT

The use of large pretrained neural networks to create contextualized word embeddings has drastically improved performance on several natural language processing (NLP) tasks. These computationally expensive models have begun to be applied to domain-specific NLP tasks such as re-hospitalization prediction from clinical notes. This paper demonstrates that using large pretrained models produces excellent results on common learning analytics tasks. Pre-training deep language models using student forum data from a wide array of online courses improves performance beyond the state of the art on three text classification tasks. We also show that a smaller, distilled version of our model produces the best results on two of the three tasks while limiting computational cost. We make both models available to the research community at large.

연구 동기 및 목표

• 온라인 강좌의 학생 포럼 게시물과 같은 교육 텍스트 데이터에 특화된 딥 랭귀지 모델을 개발하기 위해.
• 도메인 특화 사전 훈련을 통해 교육 분야의 일반적인 학습 분석 과제, 예를 들어 텍스트 분류의 성능을 향상시키기 위해.
• 지식 정제를 통해 성능을 유지하면서 계산 비용을 줄여 더 작은, 효율적인 모델 버전을 만들기 위해.
• 완전한 모델과 정제된 모델을 모두 공개하여 교육 NLP 분야의 재현 가능성과 향후 연구를 지원하기 위해.

제안 방법

• 다양한 온라인 강좌의 학생 포럼 게시물 대량 데이터로 BERT 기반 모델을 사전 훈련합니다.
• 학습 분석 분야의 세 가지 다른 텍스트 분류 과제인 학생 응답 분류, 감성 분석, 주제 분류에 대해 사전 훈련된 모델을 미세조정합니다.
• 성능을 유지하면서 전체 모델을 더 작은, 빠른 버전으로 압축하기 위해 지식 정제를 적용합니다.
• 사전 훈련 중에 마스킹된 언어 모델링과 다음 문장 예측 목표를 사용하여 문맥 기반 단어 표현을 학습합니다.
• 보류된 테스트 세트에서 F1 점수와 정확도와 같은 표준 지표를 사용해 성능을 평가합니다.
• 완전한 모델과 정제된 모델을 오픈 라이선스 하에 공개하여 커뮤니티의 재사용과 확장 가능성을 보장합니다.

실험 결과

연구 질문

• RQ1 학생 포럼 데이터로 미세조정된 대규모 사전 훈련된 언어 모델이 기존 방법보다 학습 분석 텍스트 분류 과제에서 더 우수한 성능을 내는가?
• RQ2 지식 정제가 교육 NLP 모델에 적용되었을 때 성능과 효율성에 어떤 영향을 미치는가?
• RQ3 일반 도메인 사전 훈련에 비해 교육 텍스트에 특화된 사전 훈련이 하류 과제 성능 향상에 얼마나 기여하는가?
• RQ4 더 작은, 정제된 모델 버전이 훨씬 낮은 계산 요구 조건으로도 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• EduBERT는 세 가지 학습 분석 텍스트 분류 과제에서 최신 기술 수준의 성능을 달성하여 기존 방법보다 F1 점수와 정확도에서 뛰어난 성능을 보였다.
• 정제된 EduBERT 버전은 세 과제 중 두 과제에서 최고 성능을 기록하여, 모델 압축이 성능을 손상시키지 않음을 입증했다.
• 교육 텍스트에 특화된 사전 훈련을 통해 일반 도메인 사전 훈련에 비해 교육 NLP 과제에서 성능 향상이 뚜렷하게 향상되었다.
• 완전한 모델과 정제된 모델이 모두 공개되어 있어 교육 데이터 과학 분야의 연구 접근성과 재현 가능성이 넓어졌다.