[논문 리뷰] Interpretable Cognitive Diagnosis with Neural Network for Intelligent Educational Systems.

Fei Wang, Qi Liu외 2명|arXiv (Cornell University)|2019. 08. 23.

Topic Modeling참고 문헌 20인용 수 6

한 줄 요약

이 논문은 학생-연습 상호작용의 복잡한 패턴을 학습 가능한 요인 벡터로 모델링하면서도 해석 가능성성을 확보하기 위해 단조성 조건을 적용하는 신경망 기반인지진단 프레임워크인 NeuralCD를 제안한다. 실제 데이터셋에서 평가한 결과, 기존 방법보다 진단 정확도와 해석 가능성에서 뛰어난 성능을 보이며, NeuralCDM+에서는 텍스트 기반 연습 표현을 통합함으로써 성능이 향상된다.

ABSTRACT

Cognitive diagnosis is a fundamental issue in intelligent education, which aims to discover the proficiency level of students on specific knowledge concepts. Existing approaches usually mine linear interactions of student exercising process by manual-designed function (e.g., logistic function), which is not sufficient for capturing complex relations between students and exercises. In this paper, we propose a general Neural Cognitive Diagnosis (NeuralCD) framework, which incorporates neural networks to learn the complex exercising interactions, for getting both accurate and interpretable diagnosis results. Specifically, we project students and exercises to factor vectors and leverage multi neural layers for modeling their interactions, where the monotonicity assumption is applied to ensure the interpretability of both factors. Furthermore, we propose two implementations of NeuralCD by specializing the required concepts of each exercise, i.e., the NeuralCDM with traditional Q-matrix and the improved NeuralCDM+ exploring the rich text content. Extensive experimental results on real-world datasets show the effectiveness of NeuralCD framework with both accuracy and interpretability.

연구 동기 및 목표

• 기존 인지진단 방법이 학생-연습 상호작용을 모델링하기 위해 수작업으로 설계된 함수(예: 로지스틱 함수)에 의존하는 한계를 해결한다.
• 지능형 교육 시스템에서 학생과 연습 간의 복잡한 비선형 관계를 모델링할 수 있도록 한다.
• 학습된 학생 및 연습 요인 벡터에 단조성 제약 조건을 적용하여 진단 결과의 해석 가능성을 보장한다.
• 기존 Q-매트릭스를 초월해 풍부한 텍스트 콘텐츠를 연습에 통합하여 표현 학습을 향상시킨다.
• 높은 진단 정확도와 인간이 이해할 수 있는 설명을 동시에 유지하는 일반화 가능한 신경망 프레임워크를 개발한다.

제안 방법

• 신경망 레이어를 사용해 학생과 연습을 저차원의 요인 벡터로 투영하여 잠재 지식 숙달도와 연습 특성의 잠재 구조를 포착한다.
• 다중층 신경망을 활용해 학생 및 연습 요인 벡터 간의 비선형 상호작용을 모델링한다.
• 요인 벡터에 단조성 제약 조건을 적용하여 더 높은 숙달도 또는 더 높은 속성 요구 수준이 더 높은 반응 확률을 유도하도록 보장함으로써 해석 가능성성을 유지한다.
• 두 가지 변형을 구현한다: 각 연습의 속성 요구 조건을 정의하는 표준 Q-매트릭스를 사용하는 NeuralCDM, 그리고 연습의 텍스트 특징을 통합해 속성 표현을 풍부화하는 NeuralCDM+.
• 예측 정확도를 최적화하기 위해 미분 가능한 손실 함수를 사용해 실제 학생 반응 데이터를 기반으로 프레임워크를 엔드 투 엔드로 훈련시킨다.
• 역전파와 경사하강법을 사용해 신경망의 파라미터를 학습하면서도, 제약 최적화를 통해 단조성 조건을 유지한다.

실험 결과

연구 질문

• RQ1 수작업으로 설계된 함수에 의존하는 전통적 방법에 비해 신경망 기반 프레임워크가 인지진단의 정확도를 향상시킬 수 있는가?
• RQ2 신경망이 지능형 교육 시스템에서 학생과 연습 간의 복잡한 비선형 상호작용을 어느 정도 잘 모델링할 수 있는가?
• RQ3 학습된 요인 벡터에 단조성 조건을 적용함으로써 해석 가능성은 유지되면서도 높은 진단 성능를 달성할 수 있는가?
• RQ4 연습의 텍스트 콘텐츠를 통합함으로써 기존 Q-매트릭스 표현을 초월해 인지진단의 질을 향상시킬 수 있는가?
• RQ5 실제 교육 데이터셋에서 제안된 NeuralCDM 및 NeuralCDM+ 변형 간 정확도와 해석 가능성에서의 성능 비교는 어떠한가?

주요 결과

• NeuralCD는 실제 교육 데이터셋에서 복잡한 학생-연습 상호작용을 포착함으로써 기존 인지진단 모델보다 높은 진단 정확도를 달성한다.
• 단조성 제약 조건의 통합으로 학습된 요인 벡터가 해석 가능하게 유지되며, 더 높은 숙달도 또는 더 높은 속성 요구 수준이 항상 더 높은 반응 확률을 유도한다.
• NeuralCDM+는 연습의 풍부한 텍스트 콘텐츠를 활용함으로써 NeuralCDM을 능가하는 성능을 보이며, 텍스트 특징이 표현 학습과 진단 성능 향상에 기여함을 입증한다.
• 단조성 조건을 통해 프레임워크는 높은 해석 가능성을 유지하며, 교사들이 학생이 어떤 지식 개념을 숙달했는지 이해할 수 있도록 한다.
• 광범위한 실험을 통해 NeuralCD가 여러 실세계 데이터셋에서 효과적임을 확인하였으며, 정확도와 해석 가능성에서 일관된 향상이 이루어짐을 보였다.
• 제거 실험 결과, 단조성 제약 조건을 제거할 경우 해석 가능성성이 떨어지는 결과를 보였으며, 이는 단조성 조건이 모델 투명성 유지를 위해 필수적임을 입증한다.