[論文レビュー] Towards Reconciling Usability and Usefulness of Explainable AI Methodologies

Pradyumna Tambwekar, Matthew Gombolay|arXiv (Cornell University)|Jan 13, 2023

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

本研究では、高速道路シミュレーションにおける自律走行車の意思決定を説明するための4つのXAIモダリティ—意思決定木、自然言語テキスト、実行可能プログラム、注目マップ—を評価する。その結果、顕著な不一致が判明した。ユーザーは使いやすさの観点からテキスト説明を好んだ一方で、意思決定木は車両の行動をより正確に予測可能にした。これは、パーソナライズドXAI設計において、主観的な使いやすさと客観的な有用性の両立が不可欠であることを示唆している。

ABSTRACT

Interactive Artificial Intelligence (AI) agents are becoming increasingly prevalent in society. However, application of such systems without understanding them can be problematic. Black-box AI systems can lead to liability and accountability issues when they produce an incorrect decision. Explainable AI (XAI) seeks to bridge the knowledge gap, between developers and end-users, by offering insights into how an AI algorithm functions. Many modern algorithms focus on making the AI model "transparent", i.e. unveil the inherent functionality of the agent in a simpler format. However, these approaches do not cater to end-users of these systems, as users may not possess the requisite knowledge to understand these explanations in a reasonable amount of time. Therefore, to be able to develop suitable XAI methods, we need to understand the factors which influence subjective perception and objective usability. In this paper, we present a novel user-study which studies four differing XAI modalities commonly employed in prior work for explaining AI behavior, i.e. Decision Trees, Text, Programs. We study these XAI modalities in the context of explaining the actions of a self-driving car on a highway, as driving is an easily understandable real-world task and self-driving cars is a keen area of interest within the AI community. Our findings highlight internal consistency issues wherein participants perceived language explanations to be significantly more usable, however participants were better able to objectively understand the decision making process of the car through a decision tree explanation. Our work also provides further evidence of importance of integrating user-specific and situational criteria into the design of XAI systems. Our findings show that factors such as computer science experience, and watching the car succeed or fail can impact the perception and usefulness of the explanation.

研究の動機と目的

• 異なるXAIモダリティが自律システムにおけるAI意思決定の認識と客観的理解に与える影響を調査すること。
• ユーザー固有の要因（例：コンピュータサイエンス経験）および状況的要因（例：車両の成功または失敗の観察）がXAIの好みと効果に与える影響を検討すること。
• XAI説明における「主観的な使いやすさ」と「客観的な有用性」の乖離を特定すること。
• ユーザーの認知的および文脈的プロファイルに応じて適応するパーソナライズドXAIシステムの設計を支援すること。

提案手法

• 231名の参加者を対象に、自律走行車シミュレーション環境を用いた大規模なユーザースタディを実施。評価対象は4つのXAIモダリティ：意思決定木、自然言語テキスト、実行可能プログラム、注目マップ。
• 前方シミュレーションプロトコルを採用。参加者は説明を確認した後、車両の行動を予測する。これにより、理解度の客観的測定が可能となった。
• アンケートによる主観的使いやすさ評価を収集。各モダリティの支援度と信頼性の高さを測定。
• 人種的・文化的要因（例：コンピュータサイエンスのバックグラウンド）および状況的要因（例：車両の成功または衝突の観察）が説明の認識とパフォーマンスに与える影響を分析。
• 定量的予測精度と定性的フィードバックを統合した混合手法分析を実施。説明の質を評価。
• ユーザーの傾向と文脈に基づいて説明を適応的に選択する、今後のパーソナライズドXAIシステムのフレームワークを提言。

実験結果

リサーチクエスチョン

• RQ1 意思決定木、テキスト、プログラム、注目マップといった異なるXAIモダリティは、AI意思決定の主観的使いやすさと客観的理解度において、どのように比較されるか？
• RQ2 コンピュータサイエンス経験といった個人要因は、ユーザーのXAI説明に対する認識とパフォーマンスにどのように影響するか？
• RQ3 具体的に、自律走行車が成功または失敗した状況（観察状況）は、ユーザーのXAIエージェントに対する信頼および説明の評価にどのように影響するか？
• RQ4 XAI説明の主観的使いやすさと客観的有用性の間には、どの程度の乖離が存在するか？
• RQ5 ユーザーの特性と文脈に基づいて、最も適切な説明モダリティを動的に選択できるパーソナライズドXAIシステムを設計できるか？

主な発見

• テキストベースの説明は、他のモダリティと比較して、顕著に使いやすいと評価された。参加者は主観的使いやすさアンケートで、テキスト説明を高く評価した。
• 高い主観的使いやすさにもかかわらず、テキスト説明は、意思決定木やプログラムベースの説明と比較して、車両行動の予測精度が低かった。
• 意思決定木は、参加者が他のモダリティと比較して、顕著に高い予測精度を達成した。これは、意思決定木が最も高い客観的理解を可能にしたことを示している。
• コンピュータサイエンス経験が豊富な参加者は、テキストベースの説明に対する好みを低下させた。これは、先行知識があるとモダリティの好みが変化する可能性を示唆している。
• 車両が衝突（失敗）したのを観察した参加者は、XAIエージェントに対する態度が著しく悪化し、特にテキストベースの説明に対して信頼が低下した。
• 本研究では、根本的な不整合が判明した。主観的な使いやすさ（主観的）と客観的な有用性（客観的）は一致せず、テキスト説明は好まれるが、正確な予測にはあまり効果的でない。