[논문 리뷰] Interpretable Cognitive Diagnosis with Neural Network

Fei Wang, Qi Liu외 2명|arXiv (Cornell University)|2019. 08. 23.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 20인용 수 3

한 줄 요약

이 논문은 학생-연습 상호작용의 복잡한 특성을 학습 가능한 요인 벡터와 다층 신경망을 통해 모델링하고, 해석 가능성과 일관성을 확보하기 위해 단조성 조건을 적용하는 신경망 기반 인지 진단 프레임워크인 NeuralCD를 제안한다. 실제 데이터를 대상으로 평가한 결과, NeuralCD는 특히 NeuralCDM+를 통해 풍부한 텍스트 콘텐츠를 통합함으로써 기존 방법들보다 뛰어난 정확도와 해석 가능성을 확보하였다.

ABSTRACT

Cognitive diagnosis is a fundamental issue in intelligent education, which aims to discover the proficiency level of students on specific knowledge concepts. Existing approaches usually mine linear interactions of student exercising process by manual-designed function (e.g., logistic function), which is not sufficient for capturing complex relations between students and exercises. In this paper, we propose a general Neural Cognitive Diagnosis (NeuralCD) framework, which incorporates neural networks to learn the complex exercising interactions, for getting both accurate and interpretable diagnosis results. Specifically, we project students and exercises to factor vectors and leverage multi neural layers for modeling their interactions, where the monotonicity assumption is applied to ensure the interpretability of both factors. Furthermore, we propose two implementations of NeuralCD by specializing the required concepts of each exercise, i.e., the NeuralCDM with traditional Q-matrix and the improved NeuralCDM+ exploring the rich text content. Extensive experimental results on real-world datasets show the effectiveness of NeuralCD framework with both accuracy and interpretability.

연구 동기 및 목표

• 기존 인지 진단 방법이 학생-연습 상호작용을 모델링하기 위해 수작업으로 설계된 함수(예: 로지스틱 함수)에 의존하는 한계를 해결하기 위해.
• 신경망을 통해 학생과 연습 간의 복잡한 비선형 관계를 포괄적으로 포착할 수 있는 일반적인 프레임워크를 개발하기 위해.
• 학습된 학생 및 연습 요인 벡터에 대한 단조성 제약 조건을 적용하여 진단 결과의 해석 가능성 확보를 위해.
• 연습에서 제공하는 풍부한 텍스트 콘텐츠를 인지 진단 과정에 통합하여 표현력을 향상시키기 위해.
• 제안된 프레임워크의 효과성을 예측 정확도 및 해석 가능성 측면에서 실증적으로 검증하기 위해.

제안 방법

• 신경망 임bedding을 사용하여 학생과 연습을 저차원의 요인 벡터로 투영하기.
• 다중 신경망 레이어를 통해 학생-연습 상호작용을 모델링하여 복잡한 비선형 관계를 포착하기.
• 숙련도 수준의 해석 가능성 확보를 위해 요인 벡터에 단조성 제약 조건을 적용하기.
• 기존 Q-매트릭스를 사용하여 각 연습에 필요한 지식 개념을 지정함으로써 NeuralCDM를 구현하기.
• 연습의 텍스트 콘텐츠를 통합하여 개념 표현을 풍부화함으로써 NeuralCDM을 NeuralCDM+로 확장하기.
• 실제 학생 응답 데이터를 사용하여 프레임워크를 종단 간(end-to-end)으로 학습하고, 예측 정확도 최적화를 위해 최적화하기.

실험 결과

연구 질문

• RQ1 신경망 기반 프레임워크는 기존의 인지 진단 모델 대비 진단 정확도를 향상시킬 수 있는가?
• RQ2 딥 러닝을 활용하여 학생과 연습 간의 복잡한 비선형 상호작용을 효과적으로 모델링하면서도 해석 가능성을 유지할 수 있는가?
• RQ3 연습의 텍스트 콘텐츠를 통합함으로써 인지 진단 모델의 성능 향상이 이루어지는가?
• RQ4 학습된 요인 벡터에 대해 단조성 제약 조건을 적용할 경우, 성능 저하 없이도 충분한 해석 가능성 유지가 가능한가?
• RQ5 제안된 NeuralCDM 및 NeuralCDM+ 변종이 실세계 교육 데이터셋에서 기존 방법들에 비해 어떻게 비교되는가?

주요 결과

• NeuralCD는 실세계 데이터셋에서 복잡한 학생-연습 상호작용을 포착함으로써 기존의 인지 진단 모델보다 높은 진단 정확도를 달성하였다.
• NeuralCDM+에서 텍스트 콘텐츠를 통합함으로써 기본 모델인 NeuralCDM 대비 성능 향상이 이루어졌으며, 풍부한 입력 특징의 가치를 입증하였다.
• 단조성 제약 조건은 높은 예측 정확도를 유지하면서도 학습된 요인 벡터의 해석 가능성을 효과적으로 유지하였다.
• 특히 복잡하거나 미묘한 연습 콘텐츠를 포함한 상황에서 NeuralCDM+는 정확도와 해석 가능성 양면에서 기존 방법들을 초월하였다.
• 다양한 실세계 데이터셋에서 일관된 성능 향상이 관찰되어, 프레임워크의 일반화 능력과 강건성을 검증하였다.
• 제거 실험(ablation study) 결과, 신경 상호작용 모델링과 단조성 제약 조건이 전체 성능 향상에 기여하는 데 중요한 역할을 한다는 것이 확인되었다.