[論文レビュー] LANA: Towards Personalized Deep Knowledge Tracing Through Distinguishable Interactive Sequences

Yuhao Zhou, Xihua Li+4 more|arXiv (Cornell University)|Apr 21, 2021

Intelligent Tutoring Systems and Adaptive Learning参考文献 35被引用数 9

ひとこと要約

本論文では、インタラクティブなシーケンスから学生固有の特徴を抽出する学生関連特徴抽出器（SRFE）を介してDKTを拡張する、パーソナライズドなディープ知識トレーシングモデルであるLANAを提案する。このモデルは、これらの特徴に基づいてデコーダーを動的に再構成するピボットモジュールを用い、解釈可能なラーシュモデルを用いた段階的学習により学生の能力でクラスタリングし、SOTA手法と比較してEdNetでは1.46%、RAIEd2020では1.00%のAUC向上を達成した。

ABSTRACT

In educational applications, Knowledge Tracing (KT), the problem of accurately predicting students' responses to future questions by summarizing their knowledge states, has been widely studied for decades as it is considered a fundamental task towards adaptive online learning. Among all the proposed KT methods, Deep Knowledge Tracing (DKT) and its variants are by far the most effective ones due to the high flexibility of the neural network. However, DKT often ignores the inherent differences between students (e.g. memory skills, reasoning skills, ...), averaging the performances of all students, leading to the lack of personalization, and therefore was considered insufficient for adaptive learning. To alleviate this problem, in this paper, we proposed Leveled Attentive KNowledge TrAcing (LANA), which firstly uses a novel student-related features extractor (SRFE) to distill students' unique inherent properties from their respective interactive sequences. Secondly, the pivot module was utilized to dynamically reconstruct the decoder of the neural network on attention of the extracted features, successfully distinguishing the performance between students over time. Moreover, inspired by Item Response Theory (IRT), the interpretable Rasch model was used to cluster students by their ability levels, and thereby utilizing leveled learning to assign different encoders to different groups of students. With pivot module reconstructed the decoder for individual students and leveled learning specialized encoders for groups, personalized DKT was achieved. Extensive experiments conducted on two real-world large-scale datasets demonstrated that our proposed LANA improves the AUC score by at least 1.00% (i.e. EdNet 1.46% and RAIEd2020 1.00%), substantially surpassing the other State-Of-The-Art KT methods.

研究の動機と目的

• 個々の学習特性の違いにもかかわらず、すべての学生を同一視するDeep Knowledge Tracing（DKT）におけるパーソナライズの欠如に取り組むこと。
• インタラクティブなシーケンスから得られる独自の時間変動型学習特性を捉えることで、DKTモデルが個々の学生に適応的に対応できるようにすること。
• 各学生ごとに別々のモデルを学習する現実的でない方法を克服し、学生関連特徴を用いてデコーダーの再パラメータ化を学習すること。
• 解釈可能なラーシュモデルを用いて学生を能力レベルにクラスタリングすることで、モデルの汎化性能と解釈可能性を向上させること。

提案手法

• 学生関連特徴抽出器（SRFE）は、各学生の時間 $ t_i $ の周辺におけるインタラクティブなシーケンスから、記憶力や推論力といった固有の学生特性を抽出する。
• ピボットモジュールは、抽出された学生関連特徴のアテンションに基づいて、デコーダーのパラメータを動的に再構成することで、インスタンス固有のモデル適応を可能にする。
• 段階的学習では、解釈可能なラーシュモデルから得られる能力レベルに分類された学生グループに特化したエンコーダーを割り当てることで、特徴の重要性と学習効率を向上させる。
• モデルはSRFE、ピボットモジュール、段階的学習を統合したフレームワークとして構築され、知識状態は $ h_t^{s_i} \sim g(h_{<t}^{s_i}, I_{<t}^{s_i}) $ により更新され、予測は $ r_t^{s_i} \sim f(p_t^{s_i})(h_t^{s_i}) $ で行われる。ここで $ p_t^{s_i} \sim k(h_t^{s_i}) $ である。
• フレームワークは、アテンションに基づく適応と能力レベルのクラスタリングを用いてエンドツーエンドに訓練され、学生ごとのモデル学習なしにパーソナライズドな予測が可能になる。

実験結果

リサーチクエスチョン

• RQ1 インタラクティブなシーケンスから学生固有の学習特性を効果的に抽出することで、DKTにおけるパーソナライズが向上するか？
• RQ2 個々の学生に適応的にデコーダーを再構成する深層学習モデルは、各学生ごとに別々のモデルを学習せずに実現可能か？
• RQ3 解釈可能なラーシュモデルを用いて能力レベルにクラスタリングすることで、特徴表現とモデル性能が向上するか？
• RQ4 SRFE、ピボットモジュール、段階的学習の組み合わせが、SOTA手法と比較してAUCにどの程度の向上効果をもたらすか？

主な発見

• EdNetではLANAがAUC 0.8059を達成し、前回のSOTA手法と比較して1.46%の向上を示した。
• RAIEd2020データセットでは、LANAは最も強力なベースラインと比較してAUCを1.00%向上させた。
• アブレーションスタディの結果、ピボットモジュール（PM）はベースラインモデルと組み合わせることでほぼ1.25%の性能向上を示し、パーソナライズにおいて中心的な役割を果たしていることが示された。
• 段階的学習（LL）コンポーネント単体でも0.2%の性能向上を示しており、これはより良い特徴学習により学生間の固有のスキルギャップが軽減されていることを示唆している。
• t-SNE可視化により、LANAは時間経過に伴い学生特徴を適切にクラスタリングしており、明確な学習経路と特徴の区別性の向上が確認された。
• LANAにおける個々の学生の特徴軌跡は、明確で整合性のある時間的推移を示しており、モデルが進化する知識状態と学習の進行を的確に捉えていることが示された。