[논문 리뷰] Application of Deep Self-Attention in Knowledge Tracing

Junhao Zeng, Zhang Qing-chun외 2명|arXiv (Cornell University)|2021. 05. 17.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 18인용 수 12

한 줄 요약

이 논문은 학생 학습 시퀀스에서 장거리 의존성을 더 잘 포착하기 위해 디코더에 이중 멀티헤드 어텐션 메커니즘을 적용한 트랜스포머 기반 모델인 딥 세프어텐셔티브 지식 트래킹(DSAKT)을 제안한다. PTA 데이터셋에서 DSAKT는 SAKT와 DKT보다 평균 2.1% 높은 AUC를 기록하여 반복적 시도가 많은 프로그래밍 중심 학습 데이터에서 뛰어난 성능을 보였다.

ABSTRACT

The development of intelligent tutoring system has greatly influenced the way students learn and practice, which increases their learning efficiency. The intelligent tutoring system must model learners' mastery of the knowledge before providing feedback and advices to learners, so one class of algorithm called "knowledge tracing" is surely important. This paper proposed Deep Self-Attentive Knowledge Tracing (DSAKT) based on the data of PTA, an online assessment system used by students in many universities in China, to help these students learn more efficiently. Experimentation on the data of PTA shows that DSAKT outperforms the other models for knowledge tracing an improvement of AUC by 2.1% on average, and this model also has a good performance on the ASSIST dataset.

연구 동기 및 목표

• 프로그래밍 교육을 위한 지능형 튜터링 시스템에서 지식 트래킹 정확도를 향상시키기 위해.
• PTA에서 유도된 밀도 높고 반복 연습이 많은 데이터에서 RNN 기반 모델인 DKT와 어텐션 기반 모델인 SAKT의 한계를 해결하기 위해.
• 프로그래밍 연습에서 흔한 '틀리고 나서 맞는' 응답 패턴이 있는 상황에서 학생의 지식 개념 숙달도를 더 효과적으로 모델링하기 위해.
• RNN보다 더 나은 시퀀스 모델링과 더 빠른 학습을 위해 자기어텐션 메커니즘을 활용하기 위해.

제안 방법

• DSAKT는 디코더의 멀티헤드 어텐션 레이어에 공유 가중치를 적용하여 시퀀스 전반에 걸쳐 관계 모델링을 유지하는 인코더-디코더 트랜스포머 아키텍처를 사용한다.
• 입력 표현은 연습 ID와 응답 레이블을 학습 가능한 임베딩을 통해 조합하며, 응답 신호와 지식 개념을 분리하기 위해 응답 바이어스를 사용한다.
• 인코더는 다중 헤드 자기어텐션과 피드포워드 네트워크를 사용하여 잔차 연결과 레이어 정규화를 적용해 학생 상호작용 시퀀스를 처리한다.
• 디코더는 공유 가중치를 사용해 두 번의 멀티헤드 어텐션을 적용한다: 첫 번째로 디코더 입력에 대해, 두 번째로 인코더 출력에 대해 적용하여 맥락 인식 예측을 가능하게 한다.
• 최종 예측 레이어는 시그모이드 활성화를 적용한 선형 변환을 통해 다음 연습에 대한 정답 응답 확률을 출력한다.
• 모델 학습은 Adam 옵tim자와 Noam 학습률 스케줄링을 사용해 진짜 응답과 예측 확률 간의 이진 교차 엔트로피 손실을 최소화한다.

실험 결과

연구 질문

• RQ1 밀도 높고 프로그래밍 중심의 학습 데이터에서 자기어텐션 기반 모델이 RNN 기반 및 표준 어텐션 기반 모델보다 지식 트래킹 성능에서 뛰어나게 되는가?
• RQ2 이중 어텐션 디코더에 공유 가중치를 적용함으로써 반복 연습 상황에서 학생의 지식 진전을 어떻게 더 잘 모델링할 수 있는가?
• RQ3 제안된 DSAKT 모델이 PTA 및 ASSIST 데이터셋처럼 다양한 희소성 수준을 가진 데이터셋 간에 얼마나 일반화되는가?
• RQ4 잔차 연결과 레이어 정규화를 갖춘 멀티헤드 어텐션 사용이 DKT와 SAKT에 비해 AUC 성능을 향상시키는가?

주요 결과

• DSAKT는 PTA 데이터셋에서 SAKT보다 평균 2.1% 높은 AUC를 기록했으며, 개별 PTA 데이터셋 간에는 1.37%에서 3.10%까지의 개선 폭을 보였다.
• Pintia 3에서 DSAKT는 AUC 0.764를 기록하여 SAKT(0.741)와 DKT(0.737)를 크게 앞서며 성능을 뛰어나게 하였다.
• ASSIST2009(0.769 vs. 0.761)와 ASSIST2012(0.748 vs. 0.737)에서 DSAKT는 SAKT보다 높은 AUC를 기록하여 희소한 데이터셋 간의 일반화 능력을 입증하였다.
• 자기어텐션 레이어의 병렬 처리 가능성을 고려할 때, DKT와 비교해 약 10배 빠른 속도를 기록하였다.
• 어텐션 가중치 시각화 결과, 모델이 '틀리고 나서 맞는' 시퀀스에서 특히 관련 지식 개념과 이전 상호작용을 효과적으로 주목하는 것을 확인할 수 있었다.