[論文レビュー] Understanding Mental Models of AI through Player-AI Interaction

Jennifer Villareale, Jichen Zhu|arXiv (Cornell University)|Mar 30, 2021

Explainable Artificial Intelligence (XAI)参考文献 44被引用数 8

ひとこと要約

本論文は、AIベースのゲーム、特にプレイヤーとAIの相互作用のダイナミクスを、ユーザーのAIに関するメンタルモデルの進化を制御された環境で研究するためのものとして提案している。質問の形成や失敗の帰属といったプレイデータを分析することで、ユーザーがAIの能力についてどのように段階的に理解を再構築していくかを追跡でき、XAIにおける人間中心でインタラクティブな説明の設計に向けた重要な知見を明らかにする。

ABSTRACT

Designing human-centered AI-driven applications require deep understandings of how people develop mental models of AI. Currently, we have little knowledge of this process and limited tools to study it. This paper presents the position that AI-based games, particularly the player-AI interaction component, offer an ideal domain to study the process in which mental models evolve. We present a case study to illustrate the benefits of our approach for explainable AI.

研究の動機と目的

• 低リスクの環境におけるリアルタイムの相互作用を通じて、ユーザーがAIのメンタルモデルをどのように形成・修正するかを調査すること。
• 人間-AI相互作用の過程で発生する動的で即時のメンタルモデルの進化についての理解の欠落を解消すること。
• プレイデータがメンタルモデルの発達を代理として機能できることを検証し、従来の「声を出しながら考える」プロトコルなどの方法と補完的であることを明らかにすること。
• プレイヤーがAIのフィードバックに基づいて戦略をどのように適応させるかを観察することで、インタラクティブでユーザー中心の説明可能AI（XAI）の設計に向けた示唆を導き出すこと。
• 失敗の帰属（自分自身 vs. AI）がメンタルモデルの精錬と学習にどのように関連するかを検討すること。

提案手法

• 協働型の語呪いゲームを用いた事例研究を実施し、プレイヤーがスマートスピーカー（例：アレクサ）と対話することでターゲット語を特定する。
• プレイデータ（各ラウンドにおける質問の形成など）を収集・分析し、戦略や理解の変化を追跡する。
• プレイヤーの相互作用において、仮説の検証（探索的段階）とフィードバックに基づく質問の精錬（拡張的段階）の反復的サイクルを追跡する。
• ラウンド終了後のチームディスカッションを分析し、プレイヤーが失敗を自分自身に帰属させるかAIに帰属させるかを特定することで、メンタルモデルの再構築に関する洞察を得る。
• 対話トレースの定性的かつ逐次的分析を用い、自己報告に依存せずにメンタルモデルの発達を推論する。
• 質問構造の変化（例：完全な文からキーワードベースのクエリへの移行）が、AIの能力に関する理解の進化を示す兆候であるとマッピングする。

実験結果

リサーチクエスチョン

• RQ1 AIのフィードバックに応じて、プレイヤーの質問形成は時間経過とともにどのように変化するか。この変化はメンタルモデルの発達をどのように示唆するか？
• RQ2 失敗の帰属（自分自身 vs. AI）は、ユーザーのAIに関するメンタルモデルの再構築にどのような役割を果たすか？
• RQ3 AIシステムとの相互作用の過程で、プレイヤーの戦略はどのように探求的段階から拡張的段階へとシフトするか？
• RQ4 プレイデータは、特に従来の自己報告法と比較して、即時のメンタルモデル進化の信頼できる代理指標として機能できるか？
• RQ5 観察されたメンタルモデル形成のパターンに基づいて、インタラクティブで人間中心の説明可能AI（XAI）の設計にどのような示唆が得られるか？

主な発見

• プレイヤーは、初期には広範なトピックをテストする探索的段階を経て、AIの反応に基づいて質問を精錬する反復的サイクルを経験した。
• AIが文の意味ではなくキーワードを処理していることに気づいたことで、戦略に顕著なシフトが見られ、プレイヤーはウェブ検索のように質問を構成するようになった。
• 失敗を自分自身に帰属させたプレイヤーは、メンタルモデルの再構築や質問戦略の精錬がより顕著で、より適応的な学習プロセスを示した。
• AIに失敗を帰属させたプレイヤーは、静的なメンタルモデルを維持し、類似した質問を繰り返す傾向にあり、モデルの進化が限定的であった。
• プレイデータは、声を出しながら考えるプロトコルやインタラクション後のアンケートでは捉えきれない、微細で無意識の理解の変化を明らかにした。
• 本研究は、対話トレース（特に質問の進化と失敗の帰属）が、リアルタイムでのメンタルモデル発達の信頼できる指標として機能できることを示している。