[논문 리뷰] Towards Interpretable Deep Learning Models for Knowledge Tracing

Yu Lu, Deliang Wang외 2명|arXiv (Cornell University)|2020. 05. 13.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 45인용 수 4

한 줄 요약

이 논문은 RNN 기반 딥러닝 지식 추적(DLKT) 모델의 예측을 해석하기 위해 계층별 관련성 전파(LRP)를 사용하는 것을 제안하며, 모델 결정에 대한 사후 설명을 가능하게 한다. 실험 결과 LRP는 관련 있는 질문들과 개념 수준의 관계를 효과적으로 식별함으로써 교육 분야의 AI 투명성 향상에 있어 타당성을 입증한다.

ABSTRACT

As an important technique for modeling the knowledge states of learners, the traditional knowledge tracing (KT) models have been widely used to support intelligent tutoring systems and MOOC platforms. Driven by the fast advancements of deep learning techniques, deep neural network has been recently adopted to design new KT models for achieving better prediction performance. However, the lack of interpretability of these models has painfully impeded their practical applications, as their outputs and working mechanisms suffer from the intransparent decision process and complex inner structures. We thus propose to adopt the post-hoc method to tackle the interpretability issue for deep learning based knowledge tracing (DLKT) models. Specifically, we focus on applying the layer-wise relevance propagation (LRP) method to interpret RNN-based DLKT model by backpropagating the relevance from the model's output layer to its input layer. The experiment results show the feasibility using the LRP method for interpreting the DLKT model's predictions, and partially validate the computed relevance scores from both question level and concept level. We believe it can be a solid step towards fully interpreting the DLKT models and promote their practical applications in the education domain.

연구 동기 및 목표

• 교육 분야에서의 실용적 도입을 저해하는 딥러닝 기반 지식 추적(DLKT) 모델의 해석 불가능성 문제를 해결한다.
• 교육자 및 시스템 설계자들이 이해할 수 있도록 RNN 기반 DLKT 모델의 투명성을 높이기 위한 사후 설명 방법을 개발한다.
• LRP가 생성한 관련성 점수들이 예측 결과와 일치하는지 확인하기 위해 질문 수준 및 개념 수준에서의 관련성 점수를 검증한다.
• 해석 분석을 통해 DLKT 모델이 내부적으로 포착한 개념 수준의 관계를 탐색한다.

제안 방법

• LSTM 기반 DLKT 모델의 출력층에서 입력층으로 향하는 관련성 점수를 계층별 관련성 전파(LRP)를 통해 역전파한다.
• LSTM 아키텍처 내의 가중선형 연결 및 곱셈 연결을 처리하기 위해 특수한 LRP 규칙을 설계한다.
• 관련성 점수를 활용하여 모델이 다음 질문에 대한 예측에 영향을 미친 과거 질문들을 식별한다.
• 예측된 개념에 따라 관련성 점수를 집계하여 개념 간 의존성 시각화를 가능하게 한다.
• 예측 영향력을 테스트하기 위해 관련성 순서 내림차순/오름차순으로 질문을 삭제하는 실험을 수행한다.
• 방향성 있는 그래프를 사용하여 개념 수준의 관계를 시각화하며, 간선의 가중치는 LRP 기반 관련성 값으로 표현한다.

실험 결과

연구 질문

• RQ1 LRP는 RNN 기반 DLKT 모델의 예측 결정을 질문 수준에서 효과적으로 설명할 수 있는가?
• RQ2 LRP가 계산한 관련성 점수는 질문의 실제 성능 기여도와 상관관계가 있는가?
• RQ3 LRP는 지식 구조 내의 전제 조건 또는 유사 전제 조건 관계를 반영하는 의미 있는 개념 수준의 관계를 드러낼 수 있는가?
• RQ4 관련성 패턴을 기반으로 올바르게 예측된 시퀀스와 잘못 예측된 시퀀스를 충분히 구분할 수 있는가?

주요 결과

• LRP 방법은 모델 예측에 영향을 미치는 관련 질문들을 성공적으로 식별하였으며, 질문 삭제 시 관련성 순서에 따라 진행했을 때 90% 이상의 연속 문제 시퀀스에서 일관된 예측 정확도를 유지하였다.
• 높은 관련성 점수를 가진 질문을 삭제하면 올바르게 예측된 시퀀스의 예측 정확도가 크게 감소하여 LRP 점수의 신뢰성은 검증되었다.
• 낮은 관련성 점수를 가진 질문을 삭제하면 잘못 예측된 시퀀스의 예측 정확도가 향상되어 관련성 순서의 타당성이 추가로 확인되었다.
• 개념 수준의 시각화 결과에서 의미 있는 군집(예: 대수, 기하, 통계)과 타당한 전제 조건 관계(예: '실수의 순서'는 '분수 나눗셈'과 '제곱근'에 의해 영향을 받는다)가 드러났다.
• LRP 기반의 해석 방법은 질문 수준 및 개념 수준의 기여도를 설명하는 데 있어 타당성을 입증하였으며, 해석 가능한 DLKT 모델 구축에 활용 가능함을 시사한다.
• 결과적으로 LRP는 DLKT 모델이 학습한 내부 지식 구조의 일부를 복원할 수 있으며, 모델의 의사결정 과정에 대한 통찰을 제공할 수 있음을 시사한다.