[논문 리뷰] Assessment Modeling: Fundamental Pre-training Tasks for Interactive Educational Systems

Youngduck Choi, Youngnam Lee외 10명|arXiv (Cornell University)|2020. 01. 01.

Topic Modeling참고 문헌 34인용 수 11

한 줄 요약

이 논문은 상호작용 기반 교육 시스템을 위한 새로운 사전 훈련 프레임워크인 평가 모델링(assessment modeling)을 소개한다. 이 방법은 이중성 트랜스포머 인코더를 사용하여 학생의 상호작용 특성(예: 정답 여부 및 응답 시간 등)을 예측함으로써, 시험 점수나 리뷰 정확도 예측과 같은 레이블이 부족한 과제에서 성능을 크게 향상시킨다. 상호작용 시퀀스에서 평가 특성을 마스킹하고 예측함으로써, 기존의 콘텐츠 기반 사전 훈련보다 최대 21.96%의 MAE 감소를 달성한다.

ABSTRACT

Like many other domains in Artificial Intelligence (AI), there are specific tasks in the field of AI in Education (AIEd) for which labels are scarce and expensive, such as predicting exam score or review correctness. A common way of circumventing label-scarce problems is pre-training a model to learn representations of the contents of learning items. However, such methods fail to utilize the full range of student interaction data available and do not model student learning behavior. To this end, we propose Assessment Modeling, a class of fundamental pre-training tasks for general interactive educational systems. An assessment is a feature of student-system interactions which can serve as a pedagogical evaluation. Examples include the correctness and timeliness of a student's answer. Assessment Modeling is the prediction of assessments conditioned on the surrounding context of interactions. Although it is natural to pre-train on interactive features available in large amounts, limiting the prediction targets to assessments focuses the tasks' relevance to the label-scarce educational problems and reduces less-relevant noise. While the effectiveness of different combinations of assessments is open for exploration, we suggest Assessment Modeling as a first-order guiding principle for selecting proper pre-training tasks for label-scarce educational problems.

연구 동기 및 목표

• 시험 점수나 리뷰 정확도와 같은 핵심 결과를 확보하는 데 비용이 많이 들기 때문에, 교육 AI에서의 레이블 부족 문제를 해결하기 위해.
• 다양한 학생 상호작용 데이터를 활용하여 라벨이 적은 교육 예측 과제의 성능을 향상시키는 사전 훈련 방법을 개발하기 위해.
• 평가 모델링을 제안함으로써, 정적 콘텐츠 특성 외에도 학생의 학습 행동을 모델링하는 기본적인 사전 훈련 과제로 활용하기 위해.
• 상호작용 기반 사전 훈련이 콘텐츠 중심 사전 훈련보다 더 높은 성능을 내는지 경험적으로 검증하기 위해.

제안 방법

• 모델은 학생 상호작용의 시퀀스를 다루기 위해 깊이 있는 이중성 트랜스포머 인코더를 사용하며, 연습 ID, 카테고리, 정답 여부, 응답 시간 등의 특징을 포함한다.
• 사전 훈련 단계에서 평가 특성의 무작위 부분집합(예: 정답 여부, 응답 시간 등)이 마스킹되고, 주변 맥락을 바탕으로 예측된다.
• 마스킹 전략은 BERT의 마스킹 언어 모델링을 영감으로 삼지만, 비대칭성을 도입한다: 예측 대상 특성들은 마스킹된 특성들의 부분집합이며, 이들 마스킹 특성들은 각 타임스텝에서 이용 가능한 특성들의 부분집합일 수 있다.
• 사전 훈련 이후, 시험 점수나 리뷰 정확도 예측과 같은 특정 과제를 위한 태스크 전용 헤드로 최종 레이어가 교체된다.
• 전체 모델은 목표 과제를 위한 라벨 데이터로 미세조정되어, 사전 훈련 과정에서 학습된 풍부한 표현을 활용한다.
• 이 방법은 산타 모바일 학습 앱에서 유입된 1억 3100만 건의 학생 응답을 포함하는 대규모 데이터셋인 EdNet에서 평가된다.

실험 결과

연구 질문

• RQ1 학생 상호작용의 평가 특성에 기반한 사전 훈련이, 레이블이 부족한 교육 예측 과제의 성능을 향상시킬 수 있는가?
• RQ2 평가 모델링은 Word2Vec, BERT, QuesNet과 같은 콘텐츠 기반 사전 훈련 방법과 비교해 어떤 성능을 보이는가?
• RQ3 사전 훈련 목표에 다양한 평가 조합(예: 정답 여부 + 응답 시간 vs. 정답 여부 전용)을 포함할 경우 어떤 영향을 미치는가?
• RQ4 왜 일부 평가 조합은 직관적으로 관련성이 있음에도 불구하고 예상과는 다르게 성능을 저하시키는가? 예를 들어, 응답 시간이 유의미해 보일 수 있지만 성능 저하를 초래하는가?

주요 결과

• 평가 모델링은 사전 훈련이 없는 모델 대비 시험 점수 예측의 평균 절대 오차(MAE)를 21.96% 감소시켰다.
• 리뷰 정확도 예측의 AUC는 사전 훈련이 없는 기준 모델 대비 6.99% 향상되었다.
• 최신 기술의 콘텐츠 기반 사전 훈련 방법과 비교했을 때, 동일한 과제에서 평균 절대 오차(MAE)는 13.34% 향상되었고, AUC는 4.26% 향상되었다.
• 모든 평가된 후행 과제에서 BERT나 QuesNet과 같은 모든 기준 모델을 초월하는 성능을 기록했다.
• 사전 훈련 목표에 응답 시간을 예측 대상으로 포함시켰더니, 시험 점수 예측의 MAE가 2.77% 증가하여 직관과 배치된 결과를 보였으며, 이는 과제 설계의 복잡성을 드러냈다.
• 결과적으로, 콘텐츠가 아닌 평가에 초점을 맞춘 사전 훈련이, 레이블이 부족한 교육 AI 과제에 더 효과적인 표현을 생성함을 입증했다.