[論文レビュー] Interpretable Cognitive Diagnosis with Neural Network for Intelligent Educational Systems.

Fei Wang, Qi Liu+2 more|arXiv (Cornell University)|Aug 23, 2019

Topic Modeling参考文献 20被引用数 6

ひとこと要約

本稿では、学習可能な要因ベクトルを用いて複雑な学生-演習相互作用をモデル化すると同時に解釈可能性を保証する、ニューラルネットワークベースの認知診断フレームワークNeuralCDを提案する。実世界のデータセットを用いた評価において、NeuralCDは従来の手法を上回る診断精度と解釈可能性を達成しており、NeuralCDM+ではテキスト強化された演習表現を用いることで性能が向上している。

ABSTRACT

Cognitive diagnosis is a fundamental issue in intelligent education, which aims to discover the proficiency level of students on specific knowledge concepts. Existing approaches usually mine linear interactions of student exercising process by manual-designed function (e.g., logistic function), which is not sufficient for capturing complex relations between students and exercises. In this paper, we propose a general Neural Cognitive Diagnosis (NeuralCD) framework, which incorporates neural networks to learn the complex exercising interactions, for getting both accurate and interpretable diagnosis results. Specifically, we project students and exercises to factor vectors and leverage multi neural layers for modeling their interactions, where the monotonicity assumption is applied to ensure the interpretability of both factors. Furthermore, we propose two implementations of NeuralCD by specializing the required concepts of each exercise, i.e., the NeuralCDM with traditional Q-matrix and the improved NeuralCDM+ exploring the rich text content. Extensive experimental results on real-world datasets show the effectiveness of NeuralCD framework with both accuracy and interpretability.

研究の動機と目的

• 従来の認知診断手法が、学生-演習相互作用をモデル化する際に手動で設計された関数（例：ロジスティック関数）に依存するという限界を解消すること。
• 知能教育システムにおける学生と演習の間の複雑で非線形的な関係をモデル化すること。
• 学習された学生および演習の要因ベクトルに対する単調性制約を課すことにより、診断結果の解釈可能性を保証すること。
• 従来のQ行列を超えて、演習の豊かなテキストコンテンツを診断フレームワークに統合し、表現学習を向上させること。
• 高い診断精度と人間が理解可能な説明を両立する汎用的なニューラルフレームワークを開発すること。

提案手法

• ニューラルネットワーク層を用いて、学生と演習を低次元の要因ベクトルに射影し、潜在的な知識習得度と演習の特徴を捉える。
• 多層ニューラルネットワークを用いて、学生および演習の要因ベクトル間の非線形相互作用をモデル化する。
• 要因ベクトルに単調性制約を課し、より高い習得度またはより高い属性要件が、より高い回答確率に一致するように保証することで、解釈可能性を維持する。
• 2つの変種を実装する：NeuralCDM（各演習の属性要件を標準的なQ行列で定義）、NeuralCDM+（演習のテキスト特徴を統合して属性表現を豊かにする）。
• 実世界の学生の回答データを用いて、微分可能な損失関数を用いてエンドツーエンドでフレームワークを学習し、予測精度を最適化する。
• バックプロパゲーションと勾配降下法を用いてニューラルネットワークのパラメータを学習するが、制約付き最適化により単調性を維持する。

実験結果

リサーチクエスチョン

• RQ1 手作業で設計された関数に依存する従来の手法と比較して、ニューラルネットワークベースのフレームワークは認知診断の精度を向上させることができるか？
• RQ2 ニューラルネットワークは、知能教育システムにおける学生と演習の間の複雑で非線形的な相互作用をどの程度モデル化できるか？
• RQ3 学習された要因ベクトルに単調性を課すことにより、解釈可能性を保ちつつ高い診断性能を達成できるか？
• RQ4 演習のテキストコンテンツを統合することで、従来のQ行列表現を超えて認知診断の質を向上させることができるか？
• RQ5 実世界の教育データセットにおいて、提案されたNeuralCDMとNeuralCDM+の2つの変種は、精度と解釈可能性の点でどのように比較されるか？

主な発見

• NeuralCDは、学生-演習相互作用の複雑さを捉えることで、実世界の教育データセットにおいて従来の認知診断モデルを上回る高い診断精度を達成している。
• 単調性制約の組み込みにより、学習された要因ベクトルは解釈可能であり、より高い習得度やより高い属性要件が、一貫して高い回答確率に結びつくことが保証されている。
• NeuralCDM+は、演習の豊かなテキストコンテンツを活用することでNeuralCDMを上回り、テキスト特徴が表現学習と診断性能の両方を向上させることを示している。
• 単調性により高い解釈可能性を維持しており、教育者が学生がどの知識概念を習得したかを理解できる。
• 広範な実験により、NeuralCDは複数の実世界データセットで有効であることが確認され、精度と解釈可能性の両面で一貫した改善が得られている。
• アブレーションスタディの結果、単調性制約を除去すると解釈性が低下することが示され、その制約がモデルの透明性を維持する上で重要な役割を果たしていることが裏付けられた。