[論文レビュー] Explainable artificial intelligence (XAI), the goodness criteria and the grasp-ability test

Tae Wan Kim|arXiv (Cornell University)|Oct 22, 2018

Explainable Artificial Intelligence (XAI)参考文献 3被引用数 7

ひとこと要約

本稿では、説明可能AI（XAI）における説明の質を評価するための非主観的で実用的な枠組みとして「理解可能性テスト」を導入する。良い説明とは、ユーザーが反事後的質問に正しく答えられ、ある程度の事実的正確性を保ち、認識的運の要素を避けるものであると定義される。これにより、分野を越えてXAIの説明を比較可能な基準が得られる。

ABSTRACT

This paper introduces the "grasp-ability test" as a "goodness" criteria by which to compare which explanation is more or less meaningful than others for users to understand the automated algorithmic data processing.

研究の動機と目的

• XAIの説明を評価するための標準化された「良さ」の基準の欠如に対処すること。
• AI分野における説明理論を、非実用的（真実のみ）から実用的（ユーザーが理解可能な）なものへと転換すること。
• 多様なユーザーが意味があり使いやすい説明を保証する非主観的な枠組みを構築すること。
• 異なるアプリケーションやユーザー層において、XAIの説明を比較可能な方法を提供すること。
• 検証可能でユーザー中心の評価を可能にすることで、規制的・倫理的要件を支援すること。

提案手法

• 反事後的条件、中程度の事実的条件、運の要素なし条件の3段階からなる評価フレームワークとして「理解可能性テスト」を提唱する。
• 「もし鳥の翼が黒かったらどうなるか？」などの反事後的質問を用い、ユーザーが説明に基づいて代替シナリオについて推論できるかをテストする。
• 中程度の事実的条件を適用し、完全な科学的厳密性を要しないが、AIの内部論理を妥当に反映するよう説明の正確性を保証する。
• 複数の反事後的質問バリエーションを用いて一貫性をテストすることで、運の要素による正解を排除する「運の要素なし条件」を実装する。
• 画像分類や住宅ローン承認におけるバイアスといった実世界のXAI事例にフレームワークを適用し、実用性を検証する。
• ユーザーの理解度に応じて、命題的（文章）および非命題的（視覚的、図式的）表現の両方を有効な説明形式として採用する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーの専門知識の水準が異なる状況下で、異なるXAIの説明の質をどのように客観的に比較できるか？
• RQ2 技術的に正しいだけでなく、最終ユーザーにとって実用的かつ理解可能である説明に必要な基準は何であるか？
• RQ3 XAIの文脈において、実用的理論の説明を非主観的かつ経験的に検証可能なものにできるか？
• RQ4 反事後的推論、事実的正確性、回答の一貫性が、AI意思決定の真正の理解をどれほど予測できるか？
• RQ5 理解可能性テストは、住宅ローン承認のような高リスクシステムにおけるアルゴリズム的バイアスを検出し、説明するためにどのように応用できるか？

主な発見

• 理解可能性テストは、ユーザーが代替シナリオについて推論できる能力を測ることで、非主観的でユーザー中心のベンチマークを提供する。
• 理解可能性テストに合格した説明は、ユーザーが入力特徴の変化がAI出力に与える影響を予測できるようにする反事後的質問に正しく答えられる。
• 中程度の事実的条件により、完全な科学的正確性を要しないが、非専門家ユーザーにとっても理解しやすい説明が可能になる。
• 運の要素なし条件により、同じ質問の複数バリエーションに対して一貫した回答が得られるようになることで、運の要素による誤った理解を防ぐ。
• このフレームワークは、進化教育における誤解を招く可視化や、融資意思決定におけるバイアスのあるAI意思決定といった、技術的には正しいが真の理解を妨げる説明を効果的に特定する。
• 理解可能性テストは、画像分類や信用スコアリングを含む多様な分野に応用可能であり、関係者にとって理解可能な形でアルゴリズム的バイアスを検出し、説明することが可能である。