[論文レビュー] Natural Language Interaction with Explainable AI Models

Arjun Akula, Siniša Todorović+2 more|arXiv (Cornell University)|Mar 13, 2019

Explainable Artificial Intelligence (XAI)参考文献 16被引用数 7

ひとこと要約

本論文は、And-Or Graph (AOG) parse graphs を入力として使用する自然言語インタラクションフレームワークを提案し、説明可能AI (XAI) モデルの予測について人間が理解しやすい説明を生成する。ユーザーの質問を10種類の対照的タイプに分類し、直接的証拠、部品ベースの推論、文脈的推論という3つの推論タイプを採用。新規にアノテートされたデータセットを通じて、会話的および常識的説明がユーザーに最も好まれることが示された。

ABSTRACT

This paper presents an explainable AI (XAI) system that provides explanations for its predictions. The system consists of two key components -- namely, the prediction And-Or graph (AOG) model for recognizing and localizing concepts of interest in input data, and the XAI model for providing explanations to the user about the AOG's predictions. In this work, we focus on the XAI model specified to interact with the user in natural language, whereas the AOG's predictions are considered given and represented by the corresponding parse graphs (pg's) of the AOG. Our XAI model takes pg's as input and provides answers to the user's questions using the following types of reasoning: direct evidence (e.g., detection scores), part-based inference (e.g., detected parts provide evidence for the concept asked), and other evidences from spatio-temporal context (e.g., constraints from the spatio-temporal surround). We identify several correlations between user's questions and the XAI answers using Youtube Action dataset.

研究の動機と目的

• ユーザーがXAIモデルの予測について会話的な形で質問できる自然言語インタラクションシステムの開発。
• XAIインタラクションにおけるユーザーの意図をよりよく理解するために、ユーザーの質問を10種類の対照的タイプに分類・特定すること。
• 直接的証拠、部品ベースの推論、文脈的推論といった説明タイプのうち、どのタイプが異なる質問タイプに対して最も好まれるかを評価すること。
• YouTube Actionデータセットから550組の質問-説明ペアを含む、新たなアノテート済み説明データセットの作成。これにより、説明嗜好の実証的分析が可能となる。

提案手法

• 視覚モデルの予測を表現するために、And-Or Graph (AOG) parse graphs (pgs) を入力として使用。階層的かつ構成的視覚概念を捉える。
• ユーザーの質問を10種類の対照的カテゴリ（例：WH-X, WH-X-NOT-Y, NOT-X）に分類し、ユーザーが暗黙的に行う比較をモデル化。
• 3つの推論タイプを用いて説明を生成：(1) 直接的証拠（例：検出スコア）、(2) 部品ベースの推論（例：座っている予測を支持する四肢のポーズ）、(3) 文脈的推論（例：会話的関係、常識的知識、反事後的推論）。
• YouTube Actionデータセットの55ドメインから抽出した550組の質問-説明ペアの新規データセットをアノテート。25名の大学院生および30名の学部生が好まれる説明タイプをラベル付け。
• 各質問に対して最大5つの説明タイプをペアリングするマルチラベルアノテーション方式を採用。これにより、嗜好パターンの統計的分析が可能。
• 質問タイプごとの説明タイプの割合分布を分析し、会話的および常識的推論の高頻度嗜好といった傾向を明らかに。

実験結果

リサーチクエスチョン

• RQ1 XAIモデルの説明を求める際、ユーザーが主にどのタイプの対照的質問を発するか？
• RQ2 直接的証拠、部品ベースの推論、文脈的推論といった説明タイプの中で、異なる質問カテゴリに対してユーザーが最も好むのはどれか？
• RQ3 会話的関係および常識的推論は、ユーザーが説明の質をどのように評価するかにどのように影響するか？
• RQ4 質問タイプと、人間が参加するXAIシステムにおける好まれる説明フォーマットとの間にどのような相関関係があるか？
• RQ5 対話履歴は、複数ターンの対話における説明タイプ選択にどのように影響するか？

主な発見

• WH-X質問（例：『なぜその人物は座っているのですか？』）に対しては、質問の単純さにもかかわらず46.2％のユーザーがGammaタイプの説明（上位から下位の文脈的推論）を好んだ。これは、基本的な質問であっても文脈的説明への強い嗜好があることを示している。
• WH-X-NOT-Y質問（例：『なぜ座っているのではなく立っているのですか？』）に対しては、36.5％のユーザーがAlphaタイプの説明（直接的証拠）を、34.6％がGammaタイプの説明を好んだ。これは、証拠と文脈の両方に分かれる嗜好があることを示している。
• 会話的説明が全体で最も好まれるタイプであり、DO-X-NOT-Y質問に対しては81.4％の回答がこれを選択。これは、概念間の関係的整合性が説明において極めて重視されていることを示している。
• 常識的推論は2番目に好まれる説明タイプであり、DO-NOT-X質問では69.3％、WH-NOT-Y質問では50.1％の選択が確認された。これは、欠如や否定の説明において世界知識の重要性が顕著に現れていることを示している。
• AOGに基づくAlpha、Beta、Gamma説明の組み合わせが全アノテーションの30％以上を占めており、構造的視覚推論がXAI説明において効果的かつ関連性があることが確認された。
• データセット分析から、WH-X1-NOT-X2質問（複数のインスタンスを含む）に対する46.6％の回答が会話的推論に基づいており、複数の対象を比較する際には関係性推論が極めて重要であることが示された。