[論文レビュー] Bridging Declarative, Procedural, and Conditional Metacognitive Knowledge Gap Using Deep Reinforcement Learning

Mark Abdelshiheed, John Wesley Hostetter+2 more|arXiv (Cornell University)|Apr 23, 2023

Intelligent Tutoring Systems and Adaptive Learning被引用数 5

ひとこと要約

本論文は、知能チューティングシステム（ITS）を用いて、宣言的知識、手続き的知識、条件的知識の間のギャップを埋めるための、適応的メタ認知的介入を提供する深層強化学習（DRL）ポリシーを提案する。DRLポリシーは、介入が行われない後続の確率チューティングシステムでのパフォーマンス向上を通じて、将来の学習に備える能力を向上させた。これは、DRLが変化するメタ認知的発達に適応し、戦略的自律性を高められることを示している。

ABSTRACT

In deductive domains, three metacognitive knowledge types in ascending order are declarative, procedural, and conditional learning. This work leverages Deep Reinforcement Learning (DRL) in providing adaptive metacognitive interventions to bridge the gap between the three knowledge types and prepare students for future learning across Intelligent Tutoring Systems (ITSs). Students received these interventions that taught how and when to use a backward-chaining (BC) strategy on a logic tutor that supports a default forward-chaining strategy. Six weeks later, we trained students on a probability tutor that only supports BC without interventions. Our results show that on both ITSs, DRL bridged the metacognitive knowledge gap between students and significantly improved their learning performance over their control peers. Furthermore, the DRL policy adapted to the metacognitive development on the logic tutor across declarative, procedural, and conditional students, causing their strategic decisions to be more autonomous.

研究の動機と目的

• 演繹的分野におけるメタ認知的知識のギャップに焦点を当て、将来の学習に備えるための持続的課題に対処すること。
• 深層強化学習（DRL）が、宣言的知識、手続き的知識、条件的知識の間のギャップを埋める適応的介入を提供できるかどうかを調査すること。
• 論理チューティングシステムにおけるDRL介入が、その後の確率チューティングシステム（さらなる介入なし）でのパフォーマンス向上に寄与するかどうかを評価すること。
• 学生のメタ認知的発達の変化に応じて、DRLポリシーが知識タイプごとにどのように適応するかを検討すること。
• DRLガイド付き介入下での学生の戦略的意思決定の自律性が、対照条件と比較してどの程度向上するかを評価すること。

提案手法

• 論理チューティングシステムにおける成績と戦略の使用に基づき、学生を宣言的知識、手続き的知識、条件的知識タイプに分類した。
• 学生の適合度と戦略の使用に基づき、誘導、BCの提示、または介入なしの3つの介入を適応的に提供するDRLポリシーを設計した。
• 学生の意思決定シーケンスに対して関連ルールマイニングを実施し、{行動_t, 適合度_t} ⇒ 行動_{t+1} の形式のルールを用いてDRLポリシー行動を解釈した。
• 18通りの可能なルールについてサポートと信頼度を計算し、学生タイプごとに頻度が高く信頼性の高いポリシーのパターンを同定した。
• 1人の学生あたり13回の意思決定を含む、46名の被験学生の598件の訓練意思決定を用いてDRLポリシーを訓練した。
• DRLポリシーの学習パフォーマンスおよび戦略的自律性への影響を、論理チューティングシステムおよび確率チューティングシステムの両方で評価した。

(a) Forward Chaining (FC)

実験結果

リサーチクエスチョン

• RQ1 DRLベースの介入は、知能チューティングシステムにおいて、宣言的知識、手続き的知識、条件的知識タイプの間のメタ認知的知識ギャップを効果的に埋めることができるか？
• RQ2 論理チューティングシステムにおけるDRL介入は、介入が行われない後続の確率チューティングシステムでのパフォーマンス向上に寄与するか？
• RQ3 学生の知識タイプに応じたメタ認知的発達の変化に応じて、DRLポリシーはその介入戦略をどのように適応させるか？
• RQ4 DRLガイド付き介入は、対照条件と比較して、学生の戦略的意思決定の自律性をどの程度向上させるか？
• RQ5 学生行動と適合度のパターンは、DRLポリシーが進化するメタ認知的状態にどのように適応しているかを明らかにするか？

主な発見

• DRL介入は、論理チューティングシステムおよびその後の確率チューティングシステムの両方で学習パフォーマンスを顕著に向上させた。
• 当初、宣言的知識や手続き的知識しか持たない学生が、条件的知識を持つ同級生よりも確率チューティングシステムで優れた成績を収めた。これは、DRLがメタ認知的知識ギャップを埋めたことを示している。
• DRLポリシーは学生の適合度に基づき介入を適応しており、上位のルールでは、適切にBCを使用している学生に対しては介入を回避していた（例：{No, Disagree} ⇒ No は23%のサポートを示した）。
• 学生が反論した場合に介入を切り替えることで、動的な適応性を示した（例：{Nud, Disagree} ⇒ Prs は7%のサポート、69%の信頼度）。これは、メタ認知的変化に応じた反応性を示している。
• DRL介入を受けた学生は、時間の経過とともに直接的介入への依存を減らしたため、戦略的自律性が向上した。
• 関連ルールマイニングの結果、DRLポリシーは、いつどのようにバックワードチェイニングを使用するかを知っている学生を条件的学習者として扱い、不要な介入を回避していた。

(b) Backward Chaining (BC)