[論文レビュー] Meaningful XAI Based on User-Centric Design Methodology

Winston Maxwell, Bruno Dumas|arXiv (Cornell University)|Aug 25, 2023

Ethics and Social Impacts of AISocial Sciences被引用数 3

ひとこと要約

本論文は、EU規制下での運用文脈、受取人、法的目的に応じた「意味のある」説明可能AI（XAI）ソリューションを生成するユーザ中心の設計手法を提案する。XAIを、反論可能性、賦権、制御、評価、透明性と整合させることで、高リスクAI応用においてデータサイエンティスト、オペレータ、影響を受ける個人、規制当局にとって効果的な説明を保証する。

ABSTRACT

This report first takes stock of XAI-related requirements appearing in various EU directives, regulations, guidelines, and CJEU case law. This analysis of existing requirements will permit us to have a clearer vision of the purposes, the ``why'', of XAI, which we separate into five categories: contestability, empowerment/redressing information asymmetries, control over system performance, evaluation of algorithmic decisions, and public administration transparency. The analysis of legal requirements also permits us to create four categories of recipients for explainability: data science teams; human operators of the system; persons affected by algorithmic decisions, and regulators/judges/auditors. Lastly, we identify four main operational contexts for explainability: XAI for the upstream design and testing phase; XAI for human-on-the-loop control; XAI for human-in-the-loop control; and XAI for ex-post challenges and investigations.Second, we will present user-centered design methodology, which takes the purposes, the recipients and the operational context into account in order to develop optimal XAI solutions.Third, we will suggest a methodology to permit suppliers and users of high-risk AI applications to propose local XAI solutions that are effective in the sense of being ``meaningful'', for example, useful in light of the operational, safety and fundamental rights contexts. The process used to develop these ``meaningful'' XAI solutions will be based on user-centric design principles examined in the second part.Fourth, we will suggest that the European Commission issue guidelines to provide a harmonised approach to defining ``meaningful'' explanations based on the purposes, audiences and operational contexts of AI systems. These guidelines would apply to the AI Act, but also to the other EU texts requiring explanations for algorithmic systems and results.

研究の動機と目的

• 説明可能AI（XAI）の背後にある法的・規制的要因を、指令、規則、判例を含めて特定・分類すること。
• XAIの5つの根幹的目的を定義すること：反論可能性、情報格差の是正、システムパフォーマンスへの制御、意思決定の評価、公共行政の透明性。
• 説明の受取人としての4つの異なるグループを分類すること：データサイエンスチーム、人間のオペレータ、影響を受ける個人、規制当局／監査機関。
• XAIの4つの運用文脈をマッピングすること：上流設計／テスト、人間がループに参加する制御、人間がループに参加する制御、事後的な挑戦。
• 法的義務と実用的使いやすさの両方に適合する、文脈に応じた「意味のある」XAIソリューションを構築するための手法を開発すること。

提案手法

• EU法的文書およびECJ判例を分析し、目的と受取人別にXAI要件を抽出・分類する。
• XAIを4つの運用文脈にマッピングする：設計／テスト、リアルタイムでの人間がループに参加する制御、人間がループに参加する制御、意思決定後の挑戦。
• ユーザ中心設計の原則を適用し、特定の受取人のニーズ、認知モデル、役割に合わせて説明をカスタマイズする。
• AI供給業者とユーザーが協働して、文脈に配慮したXAIソリューションを開発するための構造化された手法を提言する。
• 欧州委員会が、AI法およびその他のEU規制文書における「意味のある」説明の定義を標準化するための統一ガイドラインを発行するよう勧告する。

実験結果

リサーチクエスチョン

• RQ1 EUのAIガバナンス枠組みにおいて、XAIの必要性を駆り立てる主な法的・規制的目的は何か？
• RQ2 異なる受取人グループ（例：影響を受ける個人、規制当局、オペレータ）は、効果的な説明のために、どのように異なる形式の説明を必要とするか？
• RQ3 XAIが果たす異なる機能は、どの運用文脈で現れるか—上流設計、リアルタイム制御、または事後レビューのいずれか。
• RQ4 多様なユーザーに対して、XAIソリューションが単なる適合性を超えて実際の意味を持つようにするための設計原則は何か？
• RQ5 EUのAI規制全体にわたって、「意味のある」説明の定義を統一的かつ文脈に配慮した形で確立するにはどうすればよいか？

主な発見

• XAIは5つの根幹的目的を果たす：反論可能性、情報格差の是正、システムパフォーマンスへの制御、アルゴリズム意思決定の評価、公共行政の透明性。
• 4つの異なる受取人グループが、それぞれに適合した説明を必要としている：データサイエンスチーム、人間のオペレータ、影響を受ける個人、規制当局／監査機関。
• XAIの4つの運用文脈が特定された：上流設計／テスト、人間がループに参加する制御、人間がループに参加する制御、事後的な挑戦。
• 提案されたユーザ中心の設計手法により、法的義務と実用的使いやすさに適合した、文脈に応じた効果的なXAIソリューションの開発が可能になる。
• 本論文は、欧州委員会が、AI法およびその他のEU規制文書にわたる「意味のある」説明の定義を標準化するための統一ガイドラインを発行するよう勧告する。
• この手法により、XAIが法的に適合しているだけでなく、安全を重視するおよび基本的権利を保護する文脈でも実用的・実効的に有用であることが保証される。