[論文レビュー] Bridging the Gap: Providing Post-Hoc Symbolic Explanations for Sequential Decision-Making Problems with Black Box Simulators

Sarath Sreedharan, Utkarsh Soni+3 more|arXiv (Cornell University)|Feb 4, 2020

Explainable Artificial Intelligence (XAI)参考文献 32被引用数 7

ひとこと要約

本稿では、ブラックボックスシミュレータを用いて、順序的な意思決定AIシステムのための対照的でユーザーにやさしい説明を生成する手法を提案する。シミュレータとの相互作用から部分的な記号的モデルを構築することで、ユーザーが指定した概念に基づいた説明が可能となり、モンテズマのレインボーやソコバンで実施したユーザー研究により、ユーザーの理解と信頼が向上することを検証した。

ABSTRACT

As increasingly complex AI systems are introduced into our daily lives, it becomes important for such systems to be capable of explaining the rationale for their decisions and allowing users to contest these decisions. A significant hurdle to allowing for such explanatory dialogue could be the vocabulary mismatch between the user and the AI system. This paper introduces methods for providing contrastive explanations in terms of user-specified concepts for sequential decision-making settings where the system's model of the task may be best represented as a blackbox simulator. We do this by building partial symbolic models of the task that can be leveraged to answer the user queries. We empirically test these methods on a popular Atari game (Montezuma's Revenge) and modified versions of Sokoban (a well known planning benchmark) and report the results of user studies to evaluate whether people find explanations generated in this form useful.

研究の動機と目的

• 順序的な意思決定におけるユーザーとAIシステムの間の語彙の不一致を解消すること。
• ユーザーが指定した概念に基づいて、後から生成される対照的な説明を可能にすること。
• ブラックボックスシミュレータから部分的な記号的モデルを構築し、説明生成に用いる手法を開発すること。
• このような説明が、AI意思決定におけるユーザーの理解と信頼を向上させるかどうかを評価すること。
• アタリとソコバンの環境で、ユーザー研究を用いてこのアプローチを実証的に検証すること。

提案手法

• 本手法は、多様なトラジェクトリを用いてブラックボックスシミュレータを問い合わせ、状態-行動のパターンを抽出することで、部分的な記号的モデルを構築する。
• ユーザーが提供した用語を用いてユーザーが指定した概念を同定し、シミュレータ内の観測された状態特徴にマッピングする。
• 成功したトラジェクトリと失敗したトラジェクトリを比較することで対照的説明を生成し、特定の概念が意思決定結果に与える役割を強調する。
• 関連する概念に焦点を当てるために、記号的モデルを刈り取り・抽象化することで解釈可能性を向上させる。
• ユーザーのクエリに応じて、記号的モデルとシミュレータのログを用いて、オンデマンドで説明を生成する。
• 模倣学習と概念マイニングを活用して、シミュレータの挙動から記号的ルールを推論する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーが指定した概念に基づいた対照的説明は、順序的なタスクにおけるAI意思決定の理解を向上させるか？
• RQ2 ブラックボックスシミュレータから導出された部分的な記号的モデルから生成される説明は、どの程度効果的か？
• RQ3 ユーザーは、ブラックボックス出力と比較して、このような説明をより信頼できると感じ、反論しやすいと感じるか？
• RQ4 異なる概念表現の違いは、説明の質と明確さにどのような影響を与えるか？
• RQ5 説明の質は、インタラクティブなAIシステムにおけるユーザーのパフォーマンスと意思決定にどのような影響を与えるか？

主な発見

• ユーザーは、自らの概念に基づいた対照的説明を、ベースラインの説明よりもはるかに役立つと感じた。
• 本手法は、モンテズマのレインボーやソコバンにおいて、オブジェクトの接近度や行動の順序といった重要な意思決定要因を強調する説明を効果的に生成した。
• ユーザー研究の結果、説明が親しみやすいユーザー定義の概念を含む場合、AI意思決定の理解が向上した。
• 部分的な記号的モデルにより、完全なモデルの透明性を必要とせずに、正確で簡潔な説明が可能になった。
• 対照的説明がユーザー自身の概念的言語で提供された場合、ユーザーはAI意思決定をより多く反論したり、改良したりする傾向があった。
• 本手法は、ブラックボックスシミュレータを用いた複雑で長時間にわたる意思決定タスクにおいて、スケーラビリティと有効性を示した。