[논문 리뷰] Process-BERT: A Framework for Representation Learning on Educational Process Data

Alexander Scarlatos, Christopher G. Brinton외 1명|arXiv (Cornell University)|2022. 04. 28.

Online Learning and Analytics인용 수 4

한 줄 요약

이 논문은 온라인 평가에서 학생의 클릭스트림과 같은 교육적 프로세스 데이터의 표현을 사전 훈련하고 미세조정하기 위한 BERT 스타일 프레임워크인 Process-BERT를 제안한다. 순차적 프로세스 데이터에서 자기지도 사전 훈련을 활용하고, 하류 예측 작업을 위한 전이 학습을 수행함으로써, NAEP 2019 경진대회 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 학습된 표현에서 예측 정확도와 의미 있는 행동 클러스터링을 동시에 입증하였다.

ABSTRACT

Educational process data, i.e., logs of detailed student activities in computerized or online learning platforms, has the potential to offer deep insights into how students learn. One can use process data for many downstream tasks such as learning outcome prediction and automatically delivering personalized intervention. However, analyzing process data is challenging since the specific format of process data varies a lot depending on different learning/testing scenarios. In this paper, we propose a framework for learning representations of educational process data that is applicable across many different learning scenarios. Our framework consists of a pre-training step that uses BERT-type objectives to learn representations from sequential process data and a fine-tuning step that further adjusts these representations on downstream prediction tasks. We apply our framework to the 2019 nation's report card data mining competition dataset that consists of student problem-solving process data and detail the specific models we use in this scenario. We conduct both quantitative and qualitative experiments to show that our framework results in process data representations that are both predictive and informative.

연구 동기 및 목표

• 다양한 학습 환경에서 도메인 특화된 교육적 프로세스 데이터를 표현하는 데 도전하는 것.
• 특정 형식에 국한되지 않고 다양한 순차적 교육적 프로세스 데이터에 적용 가능한 일반적이고 이식 가능한 표현 학습 프레임워크를 개발하는 것.
• 자기지도 사전 훈련 후 미세조정을 통해 학습 결과 예측 성능을 향상시키는 것.
• 실제 학생 문제 해결 행동과 인지 패턴을 반영하는 해석 가능한 의미 있는 표현을 생성하는 것.
• 특히 NAEP 2019 평가 데이터셋을 포함한 실제 교육 데이터를 대상으로 프레임워크의 효과성을 평가하는 것.

제안 방법

• 순차적 프로세스 데이터에서 BERT와 유사한 마스크 토큰 예측 목적을 사용하여 문맥적 표현을 학습하는 사전 훈련을 수행한다.
• 시간적 시계열 교육적 프로세스 데이터(예: 클릭스트림)를 트랜스포머 기반 아키텍처와 위치 인코딩을 사용하여 처리한다.
• 사전 훈련된 표현을 하류의 지도 학습 작업(예: 학습 결과 예측)에 맞추기 위해 미세조정 단계를 수행한다.
• 대부분의 시퀀스에서 관련된 부분을 동적으로 가중치를 매기는 어텐션 메커니즘을 사용하여 표현 추출을 수행한다.
• GRU 또는 트랜스포머 인코더의 최종 히든 상태에서 질문 수준 및 학생 수준의 표현을 추출하여 다중 수준의 행동 분석을 가능하게 한다.
• 학습된 표현에 클러스터링을 적용하여 학생 문제 해결 시퀀스에서의 구분 가능한 행동 패턴을 식별한다.

실험 결과

연구 질문

• RQ1 BERT 스타일 사전 훈련 프레임워크는 문제 해결 클릭스트림과 같은 다양한 교육적 프로세스 데이터로부터 의미 있는 표현을 효과적으로 학습할 수 있는가?
• RQ2 제안된 전이 학습 프레임워크는 NAEP 2019 데이터셋에서 기존 방법보다 학생의 학습 결과 예측 성능을 뛰어나게 하는가?
• RQ3 학습된 표현은 학생 프로세스 데이터에서 작업 전환 또는 전략적 문제 해결과 같은 해석 가능한 행동 패턴을 드러낼 수 있는가?
• RQ4 질문 수준 표현과 학생 수준 표현은 클러스터링 명확도와 행동 통찰력 측면에서 어떻게 비교되는가?
• RQ5 이 프레임워크는 평가 클릭스트림 외의 다른 종류의 교육적 프로세스 데이터로 일반화될 수 있는가?

주요 결과

• Process-BERT 프레임워크는 NAEP 2019 데이터셋에서 기존 방법과 비교해 여러 하류 학습 결과 예측 작업에서 뛰어난 또는 경쟁 가능한 성능을 달성하였다.
• 정성적 분석을 통해 질문 수준 표현에선 직접 해결, 되돌아가기, 작업 전환과 같은 다양한 문제 해결 전략에 해당하는 명확한 클러스터가 확인되었다.
• 학생 수준 표현 역시 의미 있는 클러스터링을 보였지만, 질문 수준 클러스터보다는 덜 뚜렷하여 시간에 따라 다양한 행동 패턴이 존재함을 시사했다.
• 모델는 모든 질문을 완료한 학생과 시간이 부족해 끝내지 못한 학생 간의 명확한 행동 차이를 포착하였으며, 후자의 경우 후속 블록에서 성능이 열 劣한 것으로 나타났다.
• BERT 스타일 목적을 사용한 사전 훈련이 하류 예측 정확도를 크게 향상시켜, 프로세스 데이터에 대한 자기지도 표현 학습의 가치를 입증하였다.
• 프레임워크가 해석 가능한 클러스터를 생성할 수 있다는 점은 효과적 또는 비효율적인 학습 전략을 식별하고 개인 맞춤형 개입을 안내하는 데 응용 가능성을 시사한다.