[論文レビュー] Extending the Hint Factory for the assistance dilemma: A novel, data-driven HelpNeed Predictor for proactive problem-solving help

Mehak Maniktala, Christa Cody+4 more|arXiv (Cornell University)|Oct 8, 2020

Intelligent Tutoring Systems and Adaptive Learning参考文献 57被引用数 6

ひとこと要約

本論文は、命題論理などのよく構造化されたオープンエンドドメインにおいて、生徒の問題解決手順の非生産的段階を特定するデータ駆動型のHelpNeed予測モデルを提案する。Hint Factoryフレームワークを拡張し、生徒のインタラクションデータに基づく機械学習を用いて、支援が必要になる可能性が高い段階を予測し、能動的なヒントを提示することで、オンデマンド支援と比較して、後テスト成績、支援の適切さ、および訓練効率が著しく向上する。

ABSTRACT

Determining when and whether to provide personalized support is a well-known challenge called the assistance dilemma. A core problem in solving the assistance dilemma is the need to discover when students are unproductive so that the tutor can intervene. Such a task is particularly challenging for open-ended domains, even those that are well-structured with defined principles and goals. In this paper, we present a set of data-driven methods to classify, predict, and prevent unproductive problem-solving steps in the well-structured open-ended domain of logic. This approach leverages and extends the Hint Factory, a set of methods that leverages prior student solution attempts to build data-driven intelligent tutors. We present a HelpNeed classification, that uses prior student data to determine when students are likely to be unproductive and need help learning optimal problem-solving strategies. We present a controlled study to determine the impact of an Adaptive pedagogical policy that provides proactive hints at the start of each step based on the outcomes of our HelpNeed predictor: productive vs. unproductive. Our results show that the students in the Adaptive condition exhibited better training behaviors, with lower help avoidance, and higher help appropriateness (a higher chance of receiving help when it was likely to be needed), as measured using the HelpNeed classifier, when compared to the Control. Furthermore, the results show that the students who received Adaptive hints based on HelpNeed predictions during training significantly outperform their Control peers on the posttest, with the former producing shorter, more optimal solutions in less time. We conclude with suggestions on how these HelpNeed methods could be applied in other well-structured open-ended domains.

研究の動機と目的

• 生徒が支援を必要としているにもかかわらず、支援を求めるのを避けがちなオープンエンドでよく構造化されたドメインにおける支援のジレンマに対処すること。
• 過去の生徒行動に基づいて、非生産的問題解決段階を「HelpNeed」と分類するデータ駆動型手法を開発すること。
• HelpNeedが予測された段階で支援を能動的に提供する適応的指導方針を設計・評価すること。
• 支援の適切さを高め、支援の回避を減らすことで、生徒の学習成果を向上させること。
• 数学、物理学、プログラミングなどの他のよく構造化されたオープンエンドドメインへも一般化可能なアプローチを構築すること。

提案手法

• Hint Factoryフレームワークを拡張し、段階レベルでの生産性を定義し、段階を非生産的（HelpNeed）または生産的に分類する。
• 歴史的生徒の解答データを用いて、次の段階が非生産的になる確率を予測する機械学習モデルを訓練する。
• グローバルな解答品質を定量化し、HelpNeed分類を支援するために、変更を加えたベルマン方程式を適用する。
• 非生産的段階を2種類に分類する：「機会的」（非効率的だが支援は不要）と「逸脱的」（非効率的で支援が必要）。
• HelpNeed予測モデルが段階が支援を必要する可能性が高いと判断した場合に、能動的にヒントを提示する適応的指導方針を実装する。
• 状態依存および状態非依存の分類器を用いてHelpNeed予測モデルを構築し、個々の問題ごとの再訓練なしに、問題間で一般化可能にする。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型のHelpNeed予測モデルは、よく構造化されたオープンエンドの論理ドメインにおいて、非生産的問題解決段階を正確に特定できるか？
• RQ2 HelpNeed予測に基づく能動的ヒントの提供は、オンデマンド支援と比較して、生徒の後テスト成績を向上させるか？
• RQ3 適応的ヒント方針は、支援の回避を減らし、支援の適切さを高めるなど、より良い支援行動を促進するか？
• RQ4 HelpNeed予測モデルと適応的方針は、解答の最適性および完了までの時間にどのような影響を与えるか？
• RQ5 このアプローチは、数学やプログラミングなどの他のよく構造化されたオープンエンドドメインへどの程度一般化できるか？

主な発見

• 適応的条件に所属する生徒は、コントロール群と比較して後テストでより高い成績を上げ、より短く最適な解答をより速く生成した。
• 適応的グループでは、支援の適切さが著しく高く、支援が必要と予測された段階で支援を受けやすかった。
• 適応的グループでは支援の回避が低く抑えられ、HelpNeedと分類された段階の数も減少しており、訓練行動の改善が示された。
• HelpNeed予測モデルは、過去の生徒の相互作用データを用いて非生産的段階を的確に特定し、効果的な能動的ヒント提供を可能にした。
• 適応的方針は支援の乱用と支援の機会損失の両方を軽減し、最適な学習を実現するための干渉タイミングをバランスさせた。
• 状態が明確に定義され、解答スコアリングが可能なドメインへは一般化可能であるが、新ドメインでの妥当性の検証は今後の課題である。