[論文レビュー] X-ToM: Explaining with Theory-of-Mind for Gaining Justified Human Trust

Arjun Akula, Changsong Liu+5 more|arXiv (Cornell University)|Sep 15, 2019

Explainable Artificial Intelligence (XAI)参考文献 38被引用数 6

ひとこと要約

X-ToM は、AI システムの推論を心の理論（ToM）に基づいて解釈するフレームワークを提案し、AI が心の状態を持つかのように解釈することで、予測がなぜ行われたかを理解できるようにする。これは、QA やサリエンシーマップのベースラインと比較して説明満足度を顕著に向上（p<0.01）させ、応答時間の増加なしに有用性、十分性、詳細性の面で顕著な向上を示し、人間の信頼を裏付ける要因となる。

ABSTRACT

We present a new explainable AI (XAI) framework aimed at increasing justified human trust and reliance in the AI machine through explanations. We pose explanation as an iterative communication process, i.e. dialog, between the machine and human user. More concretely, the machine generates sequence of explanations in a dialog which takes into account three important aspects at each dialog turn: (a) human's intention (or curiosity); (b) human's understanding of the machine; and (c) machine's understanding of the human user. To do this, we use Theory of Mind (ToM) which helps us in explicitly modeling human's intention, machine's mind as inferred by the human as well as human's mind as inferred by the machine. In other words, these explicit mental representations in ToM are incorporated to learn an optimal explanation policy that takes into account human's perception and beliefs. Furthermore, we also show that ToM facilitates in quantitatively measuring justified human trust in the machine by comparing all the three mental representations. We applied our framework to three visual recognition tasks, namely, image classification, action recognition, and human body pose estimation. We argue that our ToM based explanations are practical and more natural for both expert and non-expert users to understand the internal workings of complex machine learning models. To the best of our knowledge, this is the first work to derive explanations using ToM. Extensive human study experiments verify our hypotheses, showing that the proposed explanations significantly outperform the state-of-the-art XAI methods in terms of all the standard quantitative and qualitative XAI evaluation metrics including human trust, reliance, and explanation satisfaction.

研究の動機と目的

• AI に対する人間の信頼のギャップを埋めるために、AI の推論を心の状態を持つかのように反映する説明を開発すること。
• サリエンシーマップや QA のような表面的な説明を超えて、AI の予測の背後にある理解を向上させること。
• 心の理論に基づく説明が、人間ユーザーの正当化された信頼と依存度を高めるかどうかを測定すること。
• 制御された人間参加実験を通じて、さまざまな説明タイプにおけるユーザー満足度、応答時間、依存度を評価すること。

提案手法

• X-ToM フレームワークは、AI を『実行者』としてモデル化し、信念や意図を持つものとみなして説明を生成し、オブジェクトの部分や関係性をどのように推論しているかを模倣する。
• オブジェクトの部分とその関係性をエンコードするシーングラフに類似した構造（AOG）を用い、どの画像領域が最も影響力があるかを推論可能にする。
• 検出成功や影響力のある画像領域に関する評価者からの質問に応じて説明を生成する。たとえば「走っている人の認識に最も重要な部分は何か？」といった質問。
• 120名の心理学プールからの人間被験者を対象に、ウェブインターフェースを通じて X-ToM を QA やサリエンシーマップのベースラインと比較して評価する。
• 満足度、依存度、応答時間についてリッカート尺度で被験者の回答を収集し、使いやすさと信頼性を評価する。
• 定性的および定量的指標を含む評価を実施し、説明満足度、応答時間、主観的依存度を評価する。

実験結果

リサーチクエスチョン

• RQ1 X-ToM は、QA やサリエンシーマップと比較して、ユーザーの説明満足度を向上させるか？
• RQ2 X-ToM の説明は、ベースライン手法よりもユーザーの応答が速いか？
• RQ3 X-ToM は、AI の予測に対する正当化された人間の信頼と依存度を高めるか？
• RQ4 ユーザーの認識では、特定の身体部位の検出において、どの画像領域が最も影響力があるか？
• RQ5 説明タイプごとに、説明の質（有用性、十分性、詳細性）にどのような差が生じるか？

主な発見

• X-ToM は、QA やサリエンシーマップのベースラインと比較して、説明満足度において顕著に優れており、特に有用性、十分性、詳細性の面で顕著な向上（p<0.01）を示した。
• X-ToM とベースラインとの間で応答時間の有意差は認められず、X-ToM の説明が処理が遅いとは限らないことが示された。
• X-ToM 群ではサリエンシーマップベースラインと比較して、主観的依存度が高かったため、ユーザーの信頼が強化されたと考えられる。
• 信頼性、理解しやすさ、正確性、説明の一貫性について、グループ間で有意差は認められなかった。
• 定性的な依存度スコアは、定量的依存度測定値と一致しており、研究結果の妥当性を裏付けるものとなった。
• 結果として、心の理論に基づく説明は、使いやすさや速度を損なわせることなく、信頼を高められることを示している。