[論文レビュー] Should We Trust (X)AI? Design Dimensions for Structured Experimental Evaluations

Fabian Sperrle, Mennatallah El‐Assady+4 more|arXiv (Cornell University)|Sep 14, 2020

Explainable Artificial Intelligence (XAI)参考文献 63被引用数 10

ひとこと要約

本稿は、ユーザーの信頼、説明の質、モデルの特性、タスクの文脈、研究設計の5つの次元に焦点を当て、説明可能なAI（XAI）システムを評価するための構造的フレームワークを提案する。現在のXAI評価手法における主なギャップを特定し、信頼とバイアスの伝播をモデル化する依存関係モデルを導入することで、HCI、ビジュアライゼーション、機械学習の分野において、より厳密でユーザー中心の実験的評価が可能になる。

ABSTRACT

This paper systematically derives design dimensions for the structured evaluation of explainable artificial intelligence (XAI) approaches. These dimensions enable a descriptive characterization, facilitating comparisons between different study designs. They further structure the design space of XAI, converging towards a precise terminology required for a rigorous study of XAI. Our literature review differentiates between comparative studies and application papers, revealing methodological differences between the fields of machine learning, human-computer interaction, and visual analytics. Generally, each of these disciplines targets specific parts of the XAI process. Bridging the resulting gaps enables a holistic evaluation of XAI in real-world scenarios, as proposed by our conceptual model characterizing bias sources and trust-building. Furthermore, we identify and discuss the potential for future work based on observed research gaps that should lead to better coverage of the proposed model.

研究の動機と目的

• 説明可能なAI（XAI）システムの多様な研究分野における標準的で構造的な評価手法の欠如に対処すること。
• 意味のある比較とXAI研究デザインの特徴づけを可能にする、主要な設計次元を特定・体系化すること。
• 機械学習、ヒューマンコンピュータインタラクション（HCI）、ビジュアルアナリティクスの分野におけるXAI評価におけるメソドロジカルギャップを埋めること。
• XAIプロセス全体を通じて信頼の構築とバイアスの伝播をマッピングする依存関係モデルを構築し、包括的な評価を可能にすること。
• 未利用の次元やXAI評価における実験的厳密性の向上の機会を特定することで、今後の研究を導くこと。

提案手法

• 過去5年間のHCIおよびビジュアライゼーション分野におけるXAI評価研究に関する包括的な文献レビューを実施した。
• 比較研究およびアプリケーション論文から得た設計次元を、ユーザー、説明、モデル、タスク・環境、研究設計の5つの主要なグループに分類・統合した。
• ユーザー、説明者、モデル、環境を含む、信頼とバイアスがXAIプロセス全体にわたってどのように伝播するかを示す依存関係モデルを提案した。
• 分野ごとのメソドロジカルな違いを分析し、分野固有の評価の優先順位とギャップを浮き彫りにした。
• 主観的な後向きアンケートに依存するのを減らすために、シミュラビリティ、助言の重みなどの信頼の代理指標を特定した。
• 報告された次元の定性的コーディングを用いて、XAI評価の文脈に一般化可能なフレームワークを導出した。

実験結果

リサーチクエスチョン

• RQ1 XAIシステムの厳密で比較可能な評価を可能にする、主要な設計次元とは何か？
• RQ2 XAI研究における機械学習、HCI、ビジュアルアナリティクスのコミュニティ間で、評価手法にどのような差が生じているか？
• RQ3 信頼のキャリブレーションと説明の忠実度に関して、現在のXAI評価手法における主な研究ギャップは何か？
• RQ4 信頼とバイアスはXAIプロセス全体でどのように伝播するのか？この連鎖において、どのような要素が特に重要か？
• RQ5 主観的な自己報告に依存せずに、XAIシステムを評価するための、暗黙的または代理的な信頼測定法の中で、最も効果的なものは何か？

主な発見

• 文献レビューの結果、多くの比較的XAI研究が、リッカート尺度による信頼性評価に大きく依存しており、ユーザーの事前の前提によるバイアスが生じる可能性があることが明らかになった。
• XAI評価の多くが、解釈可能性、説明責任、ユーザーの動機づけといったコアな次元を体系的に評価していないことが判明した。
• 説明の忠実度はしばしば無視され、ユーザーの信頼を逆利用するような説得力はあるが誤りである説明が生じるリスクがある。
• 依存関係モデルは、信頼とバイアスがユーザー、説明者、モデル、環境を通じて伝播する複数の参加者を特定しており、包括的な評価の必要性を強調している。
• シミュラビリティや助言の重みといった代理指標は、自己報告の信頼に依存するのを減らす代替手段として有望である。
• ビジュアルアナリティクス、レコメンデーションシステム、エキスパート駆動のアプリケーションといった分野ごとに、評価の目的に合わせた設計次元のカスタマイズが強く求められている。