[논문 리뷰] Deep Trustworthy Knowledge Tracing

Heonseok Ha, Uiwon Hwang외 3명|arXiv (Cornell University)|2018. 05. 28.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 54인용 수 5

한 줄 요약

이 논문은 지식 상태 업데이트 실패, 치명적인 망각, 해석 불가능성과 같은 핵심 문제를 해결함으로써 딥러닝 기반 지식 추적(DLKT) 모델의 신뢰성 향상을 위한 새로운 정규화 방법을 제안한다. 제안된 방법은 망각이 있는가 없는가에 관계없이 성능과 일반화 능력이 향상된 신뢰할 수 있는 DLKT를 가능하게 한다.

ABSTRACT

Knowledge tracing (KT), a key component of an intelligent tutoring system, is a machine learning technique that estimates the mastery level of a student based on his/her past performance. The objective of KT is to predict a student's response to the next question. Compared with traditional KT models, deep learning-based KT (DLKT) models show better predictive performance because of the representation power of deep neural networks. Various methods have been proposed to improve the performance of DLKT, but few studies have been conducted on the reliability of DLKT. In this work, we claim that the existing DLKTs are not reliable in real education environments. To substantiate the claim, we show limitations of DLKT from various perspectives such as knowledge state update failure, catastrophic forgetting, and non-interpretability. We then propose a novel regularization to address these problems. The proposed method allows us to achieve trustworthy DLKT. In addition, the proposed model which is trained on scenarios with forgetting can also be easily extended to scenarios without forgetting.

연구 동기 및 목표

• 기존의 딥러닝 기반 지식 추적(DLKT) 모델에서 발생하는 핵심 신뢰성 한계를 특정하고 분석하는 것.
• DLKT에서 지식 상태 업데이트 실패, 치명적인 망각, 비해석 가능성과 같은 핵심 문제를 해결하는 것.
• 예측 성능을 손상시키지 않으면서 모델의 신뢰성을 향상시키는 정규화 기법을 개발하는 것.
• 제안된 모델이 망각이 있는가 없는가에 관계없이 효과적으로 일반화될 수 있도록 보장하는 것.

제안 방법

• 학습 중 지식 상태 업데이트를 안정화시키기 위해 새로운 정규화 기법을 제안함으로써 DLKT 모델의 업데이트 실패를 감소시킨다.
• 이전에 학습한 지식 패턴을 정규화를 통해 유지함으로써 치명적인 망각을 완화하는 메커니즘을 도입한다.
• 숨은 표현을 타당한 지식 상태 전이와 일치하도록 제약함으로써 모델의 해석 가능성 유지.
• 망각 행동이 포함된 데이터에서 학습할 수 있고, 이후 망각이 없는 상황으로도 적응 가능한 통합 아키텍처를 설계한다.
• 모델 출력이 관측된 학생 반응과 일관성을 유지하도록 예측 일관성 정규화 손실을 사용한다.
• 순차적 모델링 능력을 유지하기 위해 정규화를 딥 순환 신경망 아키텍처(RNN 또는 LSTM 등)에 통합한다.

실험 결과

연구 질문

• RQ1 기존의 DLKT 모델은 실제 환경 조건에서 지식 상태를 정확히 업데이트하는 데 얼마나 실패하는가?
• RQ2 치명적인 망각은 순차적 학습 중 DLKT 모델의 장기적 신뢰성에 어떤 영향을 미치는가?
• RQ3 정규화 방법을 통해 딥 지식 추적 모델의 해석 가능성을 향상시킬 수 있는가, 이는 예측 정확도를 희생시키지 않고서도 가능한가?
• RQ4 망각 상황에서 학습된 단일 DLKT 모델이 망각이 없는 교육적 환경으로도 효과적으로 일반화될 수 있는가?

주요 결과

• 제안된 정규화 방법은 DLKT 모델의 지식 상태 업데이트 실패를 크게 감소시켜 학생의 숙달도 추정 정확도를 향상시킨다.
• 모델는 치명적인 망각이 감소하여 지속적인 학습 중 이전에 학습한 기술 성능을 유지함을 보였다.
• 숨은 표현을 타당한 지식 전이와 일치하도록 제약함으로써 모델의 해석 가능성 향상.
• 통합 모델은 망각이 있는가 없는가에 관계없이 뛰어난 성능을 보이며, 높은 일반화 능력을 보였다.
• 실험 결과, 기준 DLKT 모델 대비 벤치마크 데이터셋에서 예측 정확도가 향상됨.
• 다양한 망각 패턴을 가진 새로운 학생 학습 궤적에서 테스트해도 모델의 강건성이 유지됨.