[論文レビュー] AI-Driven Interface Design for Intelligent Tutoring System Improves Student Engagement

Byungsoo Kim, Hongseok Suh+2 more|arXiv (Cornell University)|Sep 18, 2020

Intelligent Tutoring Systems and Adaptive Learning参考文献 46被引用数 10

ひとこと要約

本論文は、学生の問題解決プロセスの診断的フィードバックを提供するAI駆動型インタフェース設計を提案し、それを通じて学習意欲を向上させることを目的としている。スマートフォン向けITS「Santa」の20,000人以上のユーザーを対象とした制御されたA/Bテストにより、AIを活用したインタフェース機能が、コンversion率や無料問題の消費数といった参加指標を最大25.13%向上させることを実証した。

ABSTRACT

An Intelligent Tutoring System (ITS) has been shown to improve students' learning outcomes by providing a personalized curriculum that addresses individual needs of every student. However, despite the effectiveness and efficiency that ITS brings to students' learning process, most of the studies in ITS research have conducted less effort to design the interface of ITS that promotes students' interest in learning, motivation and engagement by making better use of AI features. In this paper, we explore AI-driven design for the interface of ITS describing diagnostic feedback for students' problem-solving process and investigate its impacts on their engagement. We propose several interface designs powered by different AI components and empirically evaluate their impacts on student engagement through Santa, an active mobile ITS. Controlled A/B tests conducted on more than 20K students in the wild show that AI-driven interface design improves the factors of engagement by up to 25.13%.

研究の動機と目的

• AI駆動の知識トレーシングや学習経路最適化の進展にもかかわらず、ITS研究においてインタフェース設計が軽視されてきたというギャップを埋めるため。
• ユーザーインタフェースにおけるAI駆動の診断的フィードバックが、インテリジェントチューティングシステムにおける学生の動機付け、関心、参加意欲にどのように寄与するかを調査すること。
• 大規模なモバイルITS導入における、AI駆動の説明可能性のレベルやインタフェース設計の詳細が、現実世界の学生参加意欲に与える影響を評価すること。
• 説明可能なAIの原則をITSインタフェースに統合し、学習者がAI意思決定を透明かつ実行可能に理解できるようにすること。
• AI分析に基づく改善されたインタフェース設計が、コンversion率やARPUといった重要な参加指標に顕著な改善をもたらすかどうかを実証的に検証すること。

提案手法

• SantaモバイルITS用に複数のインタフェースバリアントを設計し、それぞれが異なるレベルの詳細さと説明可能性で診断的フィードバックを提供するAIコンponentsを統合した。
• 知識トレーシング（KT）や認知診断モデル（例：DIRT、NeuralCDM）などのAIモデルを活用し、学生の知識状態を推定し、パーソナライズドフィードバックを生成した。
• 説明可能なAI技術を統合し、学習推奨の根拠を可視化した。具体的には、概念の習得度、予想スコア上昇、信頼度スコアなどを含む。
• RocketがインspiredしたTinder風のスワイプインタフェースを実装し、AIが抽出した特徴（正答確率、予想学習効果など）を提示した。
• 本番環境で20,000人以上の実ユーザーを対象に制御されたA/Bテストを実施し、複数のインタフェース設計における参加度を比較した。
• コンversion率、平均売上高（ARPU）、総利益、および平均無料問題消費数といった複数のKPIを用いて参加度を測定した。

実験結果

リサーチクエスチョン

• RQ1 AI駆動の診断的フィードバックをITSユーザーインタフェースに統合した場合、実世界のモバイル学習環境における学生参加意欲にどのような影響を与えるか？
• RQ2 どの程度の説明可能性とインタフェース設計の詳細さが、インテリジェントチューティングシステムにおける学生参加意欲と動機付けを最大化するか？
• RQ3 AI駆動のインタフェース機能は、大規模なITS導入において、コンversion率やARPUといった主要パフォーマンス指標をどの程度向上させられるか？
• RQ4 AI意思決定を視覚的・文言的フィードバックで透明化することで、ユーザーの信頼やシステムとのインタラクションにどのような影響を与えるか？
• RQ5 AI分析と直感的な操作パラダイム（例：スワイプ）を組み合わせたインタフェース設計は、学習継続性と参加意欲に顕著な改善をもたらすか？

主な発見

• AI駆動のインタフェース設計は、コンversion率や無料問題消費数といった主要指標において最大25.13%の向上をもたらし、学生参加意欲が顕著に向上した。
• 最も効果的なインタフェース設計は、詳細な診断的フィードバックと視覚的説明（例：習得度バー、推奨ゲージ）を組み合わせており、ユーザーの理解と信頼を高めた。
• 正答確率や予想スコア上昇といったAIが抽出した特徴の組み込みにより、ユーザーが意思決定をより的確に行えるようになり、インタラクションとリテンションが向上した。
• 20,000人以上の学生を対象とした制御されたA/Bテストにより、高度なAIモデルを活用したインタフェース設計がARPUおよび総利益において統計的に有意な改善をもたらしたことが確認された。
• 説明可能性が高く、フィードバックが豊富なインタフェースを利用した学生は、システムの継続利用や推奨学習教材の活用がより高かった。
• 結果として、インタフェース設計は二次的な要因ではなく、特に説明可能なAIの原則と整合させることで、AI駆動のITSの有効性を高めるための重要な要因であることが示された。