[論文レビュー] How the Experts Do It: Assessing and Explaining Agent Behaviors in Real-Time Strategy Games

Jonathan Dodge, Sean Penney+3 more|arXiv (Cornell University)|Nov 19, 2017

Explainable Artificial Intelligence (XAI)参考文献 27被引用数 3

ひとこと要約

この論文は、リアルタイムストラテジー（RTS）ゲーム『StarCraft II』における熟練したシャウトキャスターが、認知的・時間的制約のもとでプレイヤー行動をリアルタイムで評価し、説明する方法を調査し、その戦略が、AI説明システムが人間の認知モデルに適合する形で的確かつ迅速に説明を行う手がかりを明らかにする。本研究では、インタラクティブなAI説明システムが、アクチュエータおよびセンサデータを優先し、構造的な情報探求ループを採用し、空間的・時間的・数量的といった意味的性質を活用することで、戦術を的確かつ簡潔に伝えるべきであると提言する。

ABSTRACT

How should an AI-based explanation system explain an agent's complex behavior to ordinary end users who have no background in AI? Answering this question is an active research area, for if an AI-based explanation system could effectively explain intelligent agents' behavior, it could enable the end users to understand, assess, and appropriately trust (or distrust) the agents attempting to help them. To provide insights into this question, we turned to human expert explainers in the real-time strategy domain, "shoutcaster", to understand (1) how they foraged in an evolving strategy game in real time, (2) how they assessed the players' behaviors, and (3) how they constructed pertinent and timely explanations out of their insights and delivered them to their audience. The results provided insights into shoutcasters' foraging strategies for gleaning information necessary to assess and explain the players; a characterization of the types of implicit questions shoutcasters answered; and implications for creating explanations by using the patterns

研究の動機と目的

• 人間の熟練した説明者（シャウトキャスター）が、『StarCraft II』のようなリアルタイムストラテジー（RTS）ゲームにおいて、複雑なエージェント行動をどのようにリアルタイムで評価し、説明するかを理解すること。
• リアルタイム制約のもとでシャウトキャスターが使用する情報源、情報探求戦略、説明パターンを特定すること。
• 熟練した説明実践を模倣することで、知能エージェントに対するユーザーの理解と信頼を向上させるための、インタラクティブなAI説明システムの設計原則を導出すること。
• 人間の視聴者が、要約的で文脈に即した説明を通じて、エージェント行動のメンタルモデルをどのように形成するかを調査すること。
• 動的で部分観測可能な環境において、AI説明システムと人間の理解のギャップを埋めるために、熟練者の説明戦略をモデル化すること。

提案手法

• 情報探求理論（IFT）を概念的枠組みとして用い、ライブでの『StarCraft II』シャウトキャスト解説を定性的に分析した。
• ゲームプレイ中にシャウトキャスターが探求した情報パッチ（例：アクチュエータ出力、センサ入力）を特定・分類した。
• A-E-P+Sループ（評価・説明・予測・＋満足）を、リアルタイム説明におけるコアな認知的・行動的パターンとしてマッピングした。
• 解説の言語的パターンを分析し、シャウトキャスターがゲームオブジェクトや行動と組み合わせて、空間的・時間的・数量的といった意味的性質をどのように使用しているかを特定した。
• テーマ的コーディングを用いて、ライブプレイ中にシャウトキャスターが使用した暗黙の質問、説明の目的、抽象化レベルを抽出した。
• タイミング、抽象化、効率的コミュニケーションの観点から、熟練者の戦略と整合性を持つように、インタラクティブな説明システムの設計インプリケーションを導出した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: シャウトキャスターは、説明を生成するためにどのような情報を求め、ゲーム環境のどこから得ているか？
• RQ2 RQ2: シャウトキャスターは、必要な情報をどのように探求し、どのようなヒントやトリガーがその探求行動を誘発しているか？
• RQ3 RQ3: シャウトキャスターが暗黙的に答えている質問は何か？ そして、リアルタイム制約のもとで、妥当で迅速な説明をどのように構築しているか？
• RQ4 RQ4: シャウトキャスターは、説明を構築する際に、どのような関係性やオブジェクトを使用しているか？ また、どのように性質をゲーム要素と組み合わせているか？

主な発見

• シャウトキャスターは主にアクチュエータ出力（例：ユニットの移動、攻撃）およびセンサ入力（例：リソース数、ユニットの可視性）から情報を探求しており、説明システムはパフォーマンス指標よりもこれらのデータタイプを優先すべきであることが示された。
• A-E-P+Sループ（評価・説明・予測・＋満足）は、支配的な認知的・行動的パターンであり、システムが模倣すべき構造的なリアルタイム説明アプローチであると示唆された。
• シャウトキャスターは、戦略的意図を簡潔に伝えるために、空間的性質（例：敵基地までの距離）と時間的性質（例：ユニット生産のタイミング）を頻繁に使用していた。
• 数量的性質は戦略的に使用された：作業員は正確な数値（数値を伴う46件の一致）で報告されることが最も多く、一方で軍勢の規模は一般的に曖昧に（例：「マリーンがたくさん」）記述されていた。これは、文脈に応じた抽象化レベルの変動を示している。
• シャウトキャスターは、完全に正確ではないが、実行可能で迅速な説明で視聴者の好奇心を満たすことが多く、リアルタイム制約下での「満足」戦略を示していた。
• 名詞や動詞と組み合わせた意味的性質（形容詞、副詞）の使用により、シャウトキャスターは戦略と意図を効率的に伝えることができた。このパターンは、インタラクティブな説明システムが明確さと簡潔さを実現するために採用できる。