[論文レビュー] Towards Interpretable Deep Learning Models for Knowledge Tracing

Yu Lu, Deliang Wang+2 more|arXiv (Cornell University)|May 13, 2020

Intelligent Tutoring Systems and Adaptive Learning参考文献 45被引用数 4

ひとこと要約

本稿では、RNNベースの深層学習知識トレーシング（DLKT）モデルの予測を解釈するために、レイヤーごとの関連性伝播（LRP）を提案し、モデル意思決定の事後的説明を可能にしている。実験の結果、LRPは関連する質問や概念レベルの関係を効果的に特定でき、教育分野におけるAIの解釈可能性向上の妥当性が裏付けられた。

ABSTRACT

As an important technique for modeling the knowledge states of learners, the traditional knowledge tracing (KT) models have been widely used to support intelligent tutoring systems and MOOC platforms. Driven by the fast advancements of deep learning techniques, deep neural network has been recently adopted to design new KT models for achieving better prediction performance. However, the lack of interpretability of these models has painfully impeded their practical applications, as their outputs and working mechanisms suffer from the intransparent decision process and complex inner structures. We thus propose to adopt the post-hoc method to tackle the interpretability issue for deep learning based knowledge tracing (DLKT) models. Specifically, we focus on applying the layer-wise relevance propagation (LRP) method to interpret RNN-based DLKT model by backpropagating the relevance from the model's output layer to its input layer. The experiment results show the feasibility using the LRP method for interpreting the DLKT model's predictions, and partially validate the computed relevance scores from both question level and concept level. We believe it can be a solid step towards fully interpreting the DLKT models and promote their practical applications in the education domain.

研究の動機と目的

• 教育分野における実用的導入を阻害する、深層学習ベースの知識トレーシング（DLKT）モデルの解釈不能性の問題に対処すること。
• RNNベースのDLKTモデルの透明性と理解可能性を高めるための事後的説明手法を開発すること。
• LRPが生成する関連性スコアが、モデル予測と整合するかを、質問レベルおよび概念レベルで検証すること。
• 解釈可能性分析を通じて、DLKTモデルが内部的に捉えている概念レベルの関係を探索すること。

提案手法

• LSTMベースのDLKTモデルの出力層から入力層へと、レイヤーごとの関連性伝播（LRP）を適用して関連性スコアを逆伝播すること。
• LSTMアーキテクチャに内蔵された重み付き線形接続および乗算接続を処理するための特別なLRPルールを設計すること。
• 関連性スコアを用いて、次の質問の予測に最も影響を与えた過去の質問を特定すること。
• 予測された概念に従って関連性スコアをグループ化し、概念間の依存関係の可視化を可能にすること。
• 関連性の高い順／低い順に質問を削除する実験を実施し、高・低関連性質問の予測への影響を検証すること。
• 有向グラフを用いて概念レベルの関係を可視化し、エッジの重みをLRPから得た関連性値とする。

実験結果

リサーチクエスチョン

• RQ1 LRPは、RNNベースのDLKTモデルの予測意思決定を質問レベルで効果的に説明できるか？
• RQ2 LRPが計算する関連性スコアは、質問がモデル性能に果たす実際の寄与と相関しているか？
• RQ3 LRPは、知識構造における前提条件や類似する依存関係を反映する意味のある概念レベルの関係を明らかにできるか？
• RQ4 関連性パターンに基づいて、正しい予測シーケンスと誤った予測シーケンスを区別できるほど、解釈手法は頑健か？

主な発見

• LRP手法は、モデル予測に寄与する関連する質問を効果的に特定でき、90％を超える演習シーケンスで関連性順に質問を削除しても予測精度が一貫して維持された。
• 高関連性の質問を削除すると、正しい予測シーケンスの予測精度が著しく低下し、LRPスコアの信頼性が裏付けられた。
• 低関連性の質問を削除すると、誤った予測シーケンスの予測精度が向上し、関連性順の妥当性がさらに確認された。
• 概念レベルの可視化では、意味のあるクラスタ（例：代数、幾何、統計）と妥当な前提条件関係（例：『実数の大小順序』は『分数の割り算』および『平方根』に影響を受ける）が明らかになった。
• LRPに基づく解釈手法は、質問レベルおよび概念レベルの寄与を説明する上で実用的であることが示され、解釈可能なDLKTモデルの構築に活用可能であることを支持する。
• 結果から、LRPはDLKTモデルが学習した内部知識構造の一部を回復可能であり、意思決定プロセスへの洞察を提供できる可能性がある。