[論文レビュー] AI in Education needs interpretable machine learning: Lessons from Open Learner Modelling

Cristina Conati, Kaśka Porayska‐Pomsta+1 more|ArXiv.org|Jun 30, 2018

Explainable Artificial Intelligence (XAI)被引用数 46

ひとこと要約

この論文は、解釈可能な/オープン・ラーナー・モデリング（OLM）が教育におけるAIにとって不可欠であると主張し、解釈可能なMLを高リスク領域で指導するためのITS/OLMからのフレームワークと例を提供する。

ABSTRACT

Interpretability of the underlying AI representations is a key raison\nd'\\^{e}tre for Open Learner Modelling (OLM) -- a branch of Intelligent Tutoring\nSystems (ITS) research. OLMs provide tools for 'opening' up the AI models of\nlearners' cognition and emotions for the purpose of supporting human learning\nand teaching. Over thirty years of research in ITS (also known as AI in\nEducation) produced important work, which informs about how AI can be used in\nEducation to best effects and, through the OLM research, what are the necessary\nconsiderations to make it interpretable and explainable for the benefit of\nlearning. We argue that this work can provide a valuable starting point for a\nframework of interpretable AI, and as such is of relevance to the application\nof both knowledge-based and machine learning systems in other high-stakes\ncontexts, beyond education.\n

研究の動機と目的

• 教育分野のAIとITSにおける解釈性の役割を強調する
• ユーザーに学習者モデルを公開するOpen Learner Modelling（OLM）アプローチを調査する
• 読み取り可能で交渉可能、編集可能なOLMが学習アウトカムと信頼に与える影響を実例で示す
• ユーザーコントロールとシステム説明のバランスを取る設計次元のフレームワークを提案する
• 高リスクな文脈における解釈可能なAI全般に対するOLMの教訓の含意を示唆する

提案手法

• ITS/OLM研究の3十年間にわたるレビューと総括
• 具体的なOLM実装（TARDIS、ベイズ知識追跡による例 tracing、編集可能なOLM）を説明
• 解釈性が信頼、学習アウトカム、教育効果とどのように関連するかを分析
• OLMアーキテクチャと展開のための4つの設計次元/質問を提案
• 教育における解釈可能なAIにつながる解釈性と教えられるAIの概念フレームワークを提供

実験結果

リサーチクエスチョン

• RQ1 教育用AIにおける学習者モデルの解釈性と説明可能性は学習アウトカムと信頼にどのように影響するか？
• RQ2 さまざまな教育文脈で最も効果的なOpen Learner Modelling（読み取り可能、交渉可能、編集可能）の形態は何か？
• RQ3 ITSにおける解釈可能なMLベースの学習者モデルの開発を導く設計次元は何か？
• RQ4 OLMの教訓は高リスク領域のより広範な解釈可能なAIフレームワークにどのように影響を与え得るか？

主な発見

• OLMsは学習者の認知と状態情報をユーザーに公開することで解釈可能なAIへの道を提供する
• 交渜的/協調的なOLMは strictly editable なものよりもユーザーの信頼とモデルの指導のバランスを取る傾向がある
• TARDISやベイズ知識追跡ベースのスキルメーターのような例は、解釈性が振り返りと自己調整を支えることを示している
• 対話的なOLMは、ターゲットを絞った説明とともに教育効果を高め、人間の教育実践を支援する可能性がある
• 4つの設計次元（Why、What aspects、How、Who）はOLM設計における教育法と解釈性のキャリブレーションを助ける
• 既存のITS/OLM研究は、教育を超えて他の高リスク領域にも拡張できる解釈可能なAIの出発点となる枠組みを提供する