[論文レビュー] Confidence-Aware Learning Assistant

Shoya Ishimaru, Takanori Maruichi+2 more|arXiv (Cornell University)|Feb 15, 2021

Intelligent Tutoring Systems and Adaptive Learning参考文献 37被引用数 6

ひとこと要約

本稿では、複数選択問題の解法中に自己の自信を推定し、低自信での正答や高自信での誤答を優先して見直しを促す、眼動追跡に基づくConfidence-Aware Learning Assistant (CoALA)を提案する。3つの研究において評価された結果、自信のない正答の正答率は14%向上し、自信のある誤答の正答率は17%向上した。自己の自信推定の精度は、自信検出で平均81%、不自信検出で平均79%を達成した。

ABSTRACT

Not only correctness but also self-confidence play an important role in improving the quality of knowledge. Undesirable situations such as confident incorrect and unconfident correct knowledge prevent learners from revising their knowledge because it is not always easy for them to perceive the situations. To solve this problem, we propose a system that estimates self-confidence while solving multiple-choice questions by eye tracking and gives feedback about which question should be reviewed carefully. We report the results of three studies measuring its effectiveness. (1) On a well-controlled dataset with 10 participants, our approach detected confidence and unconfidence with 81% and 79% average precision. (2) With the help of 20 participants, we observed that correct answer rates of questions were increased by 14% and 17% by giving feedback about correct answers without confidence and incorrect answers with confidence, respectively. (3) We conducted a large-scale data recording in a private school (72 high school students solved 14,302 questions) to investigate effective features and the number of required training samples.

研究の動機と目的

• 複数選択学習において、検出されない低自信正答および高自信誤答の課題に対処すること。
• 実世界の教育現場に適用可能な、ユーザーに依存しない gaze（眼動）ベースの自己の自信推定システムの開発。
• フィードバックの有効性を、エンドツーエンドのユーザースタディを通じて、知識の質の向上という観点から評価すること。
• 実環境下での自己の自信推定性能に影響を与えるトレーニングデータサイズおよび特徴選択の影響を調査すること。

提案手法

• 複数選択問題を解く参加者の眼動追跡データを収集し、凝視時間、移動（サッカード）回数、および相対位置に基づくAOI（注目領域）特徴などの眼動特徴を抽出した。
• ユーザー間の差に依存しないように、眼動および読解時間特徴に基づいて機械学習分類器を訓練し、自己の自信を推定した。
• 自信推定に基づいたフィードバックを生成し、自信のない正答や自信のある誤答を、見直しの対象としてマークした。
• 本システムは3段階の評価を実施した：制御されたラボスタディ（n=10）、フィードバック付きユーザースタディ（n=20）、高校での大規模な実地環境での展開（n=72名、14,302問）。
• 特徴の重要性は順列ベースの手法を用いて分析され、直感的でない相関を持つ特徴（例：凝視回数）が組み合わされると顕著に寄与することが判明した。
• トレーニングサンプル数を系統的に変化させ、モデル性能への影響を評価した。200サンプルを超えると、収益の減少が見られた。

実験結果

リサーチクエスチョン

• RQ1 眼動特徴および読解時間は、ユーザーに依存しない形で、複数選択問題の解法における自己の自信を信頼性高く推定できるか？
• RQ2 推定された自己の自信に基づいたフィードバックは、正答率および自信の質という観点から学習成果を向上させるか？
• RQ3 自己の自信推定性能は、制御された環境と実世界（in-the-wild）環境とでどのように異なるか？
• RQ4 実教育環境下で効果的な自己の自信推定を実現するための最適なトレーニングサンプル数は何か？
• RQ5 どの眼動特徴が自己の自信に対して最も予測力があり、多変量モデル内での相互作用はどのように働くか？

主な発見

• 制御されたラボスタディにおいて、自信検出の平均精度は81%、不自信検出の平均精度は79%を達成した。
• ユーザースタディでは、自信推定に基づくフィードバックにより、自信のない正答の正答率が14%向上し、自信のある誤答の正答率が17%向上した（対照条件と比較）。
• 実際の教室環境（in-the-wildスタディ）でも、本システムは頑健な性能を示した。生徒が14,302問をラベル付けしたが、制御されていない環境下でも実用可能であることが示された。
• 約200件のトレーニングサンプルを過ぎると、性能向上の余地が著しく小さくなり、さらなるサンプル追加は分散を減らすが、平均精度の向上は顕著ではなかった。
• 凝視回数やサッカード頻度といった特徴は、個別には弱いが、モデル内で組み合わされると有意義な貢献を示した。これは、特徴間の相互作用の重要性を示している。
• 本システムのフィードバック機構は、知識の消失を効果的に軽減した。特に低自信で回答された問題に関しては、非フィードバック条件と比較して忘却率を16%低減した。