[論文レビュー] Interpretable Cognitive Diagnosis with Neural Network

Fei Wang, Qi Liu+2 more|arXiv (Cornell University)|Aug 23, 2019

Intelligent Tutoring Systems and Adaptive Learning参考文献 20被引用数 3

ひとこと要約

この論文では、学習者と問題の間の複雑な相互作用を学習可能な要因ベクトルと多層ニューラルネットワークを用いてモデル化し、解釈可能性を確保するための単調性制約を課す、ニューラルネットワークベースの認知診断フレームワークNeuralCDを提案する。実世界のデータを用いた評価において、NeuralCDは従来の手法に比べて優れた精度と解釈可能性を達成しており、特にNeuralCDM+によって豊富なテキストコンテンツを統合することで顕著な向上が見られる。

ABSTRACT

Cognitive diagnosis is a fundamental issue in intelligent education, which aims to discover the proficiency level of students on specific knowledge concepts. Existing approaches usually mine linear interactions of student exercising process by manual-designed function (e.g., logistic function), which is not sufficient for capturing complex relations between students and exercises. In this paper, we propose a general Neural Cognitive Diagnosis (NeuralCD) framework, which incorporates neural networks to learn the complex exercising interactions, for getting both accurate and interpretable diagnosis results. Specifically, we project students and exercises to factor vectors and leverage multi neural layers for modeling their interactions, where the monotonicity assumption is applied to ensure the interpretability of both factors. Furthermore, we propose two implementations of NeuralCD by specializing the required concepts of each exercise, i.e., the NeuralCDM with traditional Q-matrix and the improved NeuralCDM+ exploring the rich text content. Extensive experimental results on real-world datasets show the effectiveness of NeuralCD framework with both accuracy and interpretability.

研究の動機と目的

• 従来の認知診断手法が、ロジスティック関数などの手動で設計された関数に依存して学習者-問題相互作用をモデル化するという限界に対処すること。
• ニューラルネットワークを用いて、学習者と問題の間の複雑で非線形的な関係を捉えることのできる汎用的フレームワークの開発。
• 学習された学習者および問題の要因ベクトルに対する単調性制約を課すことにより、診断結果の解釈可能性を確保すること。
• 問題から得られる豊富なテキストコンテンツを認知診断プロセスに統合し、表現を強化することの検討。
• 提案フレームワークの有効性を、診断精度と解釈可能性の両面から、実世界の教育データ上で実証的に検証すること。

提案手法

• ニューラルネットワーク埋め込みを用いて、学習者と問題を低次元の要因ベクトルに射影する。
• 複数のニューラルネットワーク層を用いて学習者-問題相互作用をモデル化し、複雑で非線形的な関係を捉える。
• 熟練度の解釈可能性を保証するために、要因ベクトルに単調性制約を課す。
• 従来のQマトリクスを用いて、各問題が必要な知識概念を指定する形でNeuralCDMを実装する。
• 問題のテキストコンテンツを統合することで、概念表現を豊かにするためにNeuralCDMをNeuralCDM+に拡張する。
• 予測精度を最適化するように、実世界の学習者反応データを用いてフレームワークをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークベースのフレームワークは、従来の認知診断モデルに比べて診断精度を向上させることができるか？
• RQ2 深層学習を用いて、学習者と問題の間の複雑で非線形的な相互作用を効果的にモデル化できるか、かつ解釈可能性を保てるか？
• RQ3 問題のテキストコンテンツを統合することで、認知診断モデルの性能が向上するか？
• RQ4 学習された要因ベクトルに単調性制約を課すことで、予測性能を損なうことなく解釈可能性を維持できるか、その程度はいかほどか？
• RQ5 提案されたNeuralCDMおよびNeuralCDM+のバリエーションは、実世界の教育データセットにおいて、既存手法と比較してどのように異なるか？

主な発見

• NeuralCDは、学習者と問題の複雑な相互作用を捉えることで、実世界のデータセットにおいて従来の認知診断モデルに比べて高い診断精度を達成した。
• NeuralCDM+におけるテキストコンテンツの統合により、ベースラインのNeuralCDMに比べて性能が向上し、豊富な入力特徴の価値が示された。
• 単調性制約は、高い予測精度を維持したまま、学習された要因ベクトルの解釈可能性を効果的に保った。
• 特に複雑または洗練された問題内容を含む状況では、NeuralCDM+が精度と解釈可能性の両面で既存手法を上回った。
• フレームワークは複数の実世界データセットにおいて一貫した改善を示し、一般化可能性と頑健性を裏付けた。
• アブレーションスタディにより、ニューラル相互作用モデリングと単調性制約の両方が、全体の性能向上に顕著な寄与をしていることが確認された。