[論文レビュー] The Continuous Hint Factory - Providing Hints in Vast and Sparsely Populated Edit Distance Spaces

Benjamin Paaßen, Barbara Hammer+4 more|arXiv (Cornell University)|Aug 22, 2017

Intelligent Tutoring Systems and Adaptive Learning参考文献 6被引用数 12

ひとこと要約

本稿では、ガウス過程を用いて類似した過去の学生状態からの編集の重み付き平均を活用することで、広大でスパースな編集距離空間において次ステップのヒントを生成する新規手法である Continuous Hint Factory (CHF) を提案する。この手法は、特に自由な選択肢があるプログラミング課題において、従来の予測手法を上回る性能を示し、単純な課題では専門家が提示するヒントと同等の性能を維持する。

ABSTRACT

Intelligent tutoring systems can support students in solving multi-step tasks by providing hints regarding what to do next. However, engineering such next-step hints manually or via an expert model becomes infeasible if the space of possible states is too large. Therefore, several approaches have emerged to infer next-step hints automatically, relying on past students' data. In particular, the Hint Factory (Barnes & Stamper, 2008) recommends edits that are most likely to guide students from their current state towards a correct solution, based on what successful students in the past have done in the same situation. Still, the Hint Factory relies on student data being available for any state a student might visit while solving the task, which is not the case for some learning tasks, such as open-ended programming tasks. In this contribution we provide a mathematical framework for edit-based hint policies and, based on this theory, propose a novel hint policy to provide edit hints in vast and sparsely populated state spaces. In particular, we extend the Hint Factory by considering data of past students in all states which are similar to the student's current state and creating hints approximating the weighted average of all these reference states. Because the space of possible weighted averages is continuous, we call this approach the Continuous Hint Factory. In our experimental evaluation, we demonstrate that the Continuous Hint Factory can predict more accurately what capable students would do compared to existing prediction schemes on two learning tasks, especially in an open-ended programming task, and that the Continuous Hint Factory is comparable to existing hint policies at reproducing tutor hints on a simple UML diagram task.

研究の動機と目的

• 従来の頻度ベースのヒントシステムがデータ不足のため機能しない、広大でスパースな状態空間において、効果的な次ステップのヒントを生成する課題に対処すること。
• 連続的な埋め込みを用いた状態間の類似性に基づく一般化を組み込むことで、Hint Factoryフレームワークを拡張すること。
• 編集に基づくヒント方策を数学的に裏付けられた枠組みとして構築し、未訪問またはめったに訪問されない状態における学生の行動の予測を可能にすること。
• CHFが従来のモデルと比較して、特に戦略的選択肢が多様な自由な選択肢のあるプログラミング課題において、学生行動をより正確に予測できるかを評価すること。

提案手法

• Continuous Hint Factory は、編集距離がユークリッド距離に対応する連続的な編集距離空間を構築し、状態間の補間を可能にする。
• この手法は、類似した過去の学生状態における編集の分布をガウス過程でモデル化し、これらの編集の重み付き平均をヒントとして計算する。
• 現在の学生状態と類似する基準状態を編集距離関数を用いて同定し、それらの編集をカーネルスムージングにより集約する。
• ヒントは予測された分布からの最も確率の高い編集として生成され、熟練学生の一般的な傾向と整合性を保つ。
• 妥当で意味のある編集を保証するため、プログラム表現における構文的および意味的情報を両方活用する。
• 本手法は、UML図作成課題と自由な選択肢のあるプログラミング課題の2つのデータセットを用いて評価され、従来のポリシーとヒント品質を比較した。

実験結果

リサーチクエスチョン

• RQ1 頻度ベースの手法が失敗する、広大でスパースな状態空間において、データ駆動型のヒントポリシーは効果的に一般化できるか？
• RQ2 類似した状態において熟練学生が何をすると予測できるかについて、Continuous Hint Factory は従来の予測手法と比較してどの程度優れているか？
• RQ3 UML図作成のような戦略的選択肢が少ない課題において、CHF は高い品質のヒント生成を維持できるか？
• RQ4 CHF の平均化ベースのアプローチは、自由な選択肢のあるプログラミング課題における予測精度をどの程度向上させるか？

主な発見

• CHF は、戦略的選択肢が多様な初期段階において特に顕著に、自由な選択肢のあるプログラミング課題において熟練学生の行動を予測する際、従来の予測手法を著しく上回った。
• UML図作成課題では、CHF は専門家が提示するヒントと同等の性能を示し、単純な課題でも安定性を示した。
• UMLデータセットでは、各トレースの最初の3ステップで、CHF は完全なヒント品質を達成した。これは、初期段階での強力なガイダンスの可能性を示している。
• 本手法は、ガウス過程を用いて類似した過去の状態からの編集を平均化することで、データがスパースな状況下でも予測精度が向上することを実証した。
• CHF の利点は、個々の学生の経路が著しく分岐する複雑な自由な選択肢のある課題において最も顕著に現れた。