[논문 리뷰] Enhancing Knowledge Tracing via Adversarial Training

Xiaopeng Guo, Zhijie Huang외 4명|arXiv (Cornell University)|2021. 08. 10.

Adversarial Robustness in Machine Learning참고 문헌 38인용 수 6

한 줄 요약

이 논문은 상호작용 임베딩에서 유도된 원본 및 적대적 예제를 함께 훈련하여 딥 러닝 모델의 일반화 능력을 향상시키는 ATKT라는 지식 추적을 위한 적대적 훈련 방법을 제안한다. 효율적인 민감도-LSTM 기반 아키텍처에 새로운 지식 숨겨진 상태 주의 모듈을 통합함으로써 ATKT는 네 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 특히 소규모 데이터셋에서 AUC 점수를 크게 향상시킨다.

ABSTRACT

We study the problem of knowledge tracing (KT) where the goal is to trace the students' knowledge mastery over time so as to make predictions on their future performance. Owing to the good representation capacity of deep neural networks (DNNs), recent advances on KT have increasingly concentrated on exploring DNNs to improve the performance of KT. However, we empirically reveal that the DNNs based KT models may run the risk of overfitting, especially on small datasets, leading to limited generalization. In this paper, by leveraging the current advances in adversarial training (AT), we propose an efficient AT based KT method (ATKT) to enhance KT model's generalization and thus push the limit of KT. Specifically, we first construct adversarial perturbations and add them on the original interaction embeddings as adversarial examples. The original and adversarial examples are further used to jointly train the KT model, forcing it is not only to be robust to the adversarial examples, but also to enhance the generalization over the original ones. To better implement AT, we then present an efficient attentive-LSTM model as KT backbone, where the key is a proposed knowledge hidden state attention module that adaptively aggregates information from previous knowledge hidden states while simultaneously highlighting the importance of current knowledge hidden state to make a more accurate prediction. Extensive experiments on four public benchmark datasets demonstrate that our ATKT achieves new state-of-the-art performance. Code is available at: \color{blue} {\url{https://github.com/xiaopengguo/ATKT}}.

연구 동기 및 목표

• 소규모 데이터셋에서 특히 심각한 과적합 문제를 해결하기 위해 딥 뉴럴 네트워크 기반 지식 추적 모델의 과적합 문제를 해결한다.
• 학생 상호작용 데이터의 변형에 강건한 모델이 되도록 적대적 훈련을 활용해 일반화 능력을 향상시킨다.
• 지식 숨겨진 상태를 적응적으로 집계하면서 현재 상태의 중요성을 강조하는 더 효과적인 지식 추적 백본을 설계한다.
• 실제 세계의 다양한 데이터셋에서 적대적 훈련의 효과를 경험적으로 검증한다.

제안 방법

• 빠른 기울기 부호 방법(FGSM) 기반 접근을 사용해 원본 상호작용 임베딩에 변형을 가해 적대적 예제를 생성한다.
• 원본 청소된 입력과 생성된 적대적 예제를 함께 훈련시켜 모델의 강건성과 일반화 능력을 향상시킨다.
• 지식 숨겨진 상태(KHS) 주의 모듈을 갖춘 민감도- LSTM 백본을 설계하여 과거 KHS 표현을 적응적으로 집계하고 현재 KHS의 중요성을 강조함으로써 예측 성능을 향상시킨다.
• 각 학생 연습의 상호작용 임베딩을 입력으로 사용하며, 각 임베딩은 학생의 응답과 관련 지식 기술을 모두 코딩한다.
• 이중 교차 엔트로피 손실을 사용해 모델을 엔드 투 엔드로 최적화하여 향후 정확도를 예측하며, 역전파 동안 적대적 예제를 활용한다.
• 훈련을 안정화시키기 위해 교과과정 학습 방식으로 적대적 훈련을 적용하여 점차적으로 변형의 크기를 증가시킨다.

실험 결과

연구 질문

• RQ1 소규모 데이터셋에서 훈련된 지식 추적 모델에서 적대적 훈련이 과적합을 효과적으로 줄일 수 있는가?
• RQ2 제안된 지식 숨겨진 상태 주의 모듈은 시간이 지남에 따라 학생의 지식 상태 표현을 어떻게 향상시키는가?
• RQ3 원본 및 적대적 예제를 함께 훈련시키는 것이 더 나은 일반화 능력과 새로운 데이터에 대한 성능 향상에 기여하는가?
• RQ4 ATKT는 여러 벤치마크 데이터셋에서 최신 기술 수준의 지식 추적 모델과 비교해 AUC 측면에서 어떻게 성능을 내는가?
• RQ5 예측된 지식 숙달 수준이 실제 학생 학습 궤적을 얼마나 잘 반영하는가?

주요 결과

• ATKT는 네 가지 공개 지식 추적 벤치마크에서 최신 기술 수준 성능을 달성하였으며, 베이스라인 대비 평균 AUC 향상률은 Statics2011에서 0.0023, ASSISTments2009에서 0.0063, ASSISTments2015에서 0.0506, ASSISTments2017에서 0.0002을 기록하였다.
• 제거 실험 결과 KHS 주의 모듈이 모델 성능을 크게 향상시킴을 확인하였으며, Statics2011에서 AUC가 0.0023 향상되고 ASSISTments2015에서 0.0506 향상되었다.
• 적대적 훈련은 특히 소규모 데이터셋인 Statics2011에서 과적합을 효과적으로 완화하며, 검증 손실 곡선이 훈련 손실에서 덜 벗어나는 경향을 보였다.
• 시각화 결과는 모델이 지식 기술 간 상호의존성을 잘 포착하고 있음을 보여주며, 연습되지 않은 기술의 숙달 수준이 관련 기술을 바탕으로 업데이트됨을 확인할 수 있었다.
• 모델의 최종 예측된 숙달 수준은 학생의 성과와 잘 일치하여 개인 맞춤 학습을 위한 강점과 약점을 정확히 식별할 수 있었다.
• 기존 최신 기술 수준 모델보다 ATKT가 더 우수한 일반화 능력을 보였으며, 특히 더 도전적인 ASSISTments2015 데이터셋에서 일관된 성능 향상이 관찰되었다.