[論文レビュー] Flexible and Context-Specific AI Explainability: A Multidisciplinary Approach

Valérie Beaudouin, Isabelle Bloch+7 more|HAL (Le Centre pour la Communication Scientifique Directe)|Mar 13, 2020

Explainable Artificial Intelligence (XAI)被引用数 10

ひとこと要約

本論文は、技術的、法的、経済的要因を統合して、特定の文脈に応じたAI説明可能性の最適水準を決定する、多分野にまたがる枠組みを提案する。文脈的要因、利用可能な技術的ツール、コスト・ベネフィットのトレードオフを評価することにより、透明性、安全性、規制準拠性をバランスさせる、カスタマイズ可能なグローバルおよびローカルの説明が可能になる。

ABSTRACT

The recent enthusiasm for artificial intelligence (AI) is due principally to advances in deep learning. Deep learning methods are remarkably accurate, but also opaque, which limits their potential use in safety-critical applications. To achieve trust and accountability, designers and operators of machine learning algorithms must be able to explain the inner workings, the results and the causes of failures of algorithms to users, regulators, and citizens. The originality of this paper is to combine technical, legal and economic aspects of explainability to develop a framework for defining the "right" level of explain-ability in a given context. We propose three logical steps: First, define the main contextual factors, such as who the audience of the explanation is, the operational context, the level of harm that the system could cause, and the legal/regulatory framework. This step will help characterize the operational and legal needs for explanation, and the corresponding social benefits. Second, examine the technical tools available, including post hoc approaches (input perturbation, saliency maps...) and hybrid AI approaches. Third, as function of the first two steps, choose the right levels of global and local explanation outputs, taking into the account the costs involved. We identify seven kinds of costs and emphasize that explanations are socially useful only when total social benefits exceed costs.

研究の動機と目的

• 政策文書において説明可能性の意味と、それが異なる文脈にどのように適用されるべきかについての明確な定義が欠けている問題に対処する。
• 対象者、リスク、規制、運用ニーズに基づいて、適切な説明可能性の水準を体系的に特定するアプローチを開発する。
• 後処理説明やハイブリッドAIといった技術的ツールを、説明可能性のための構造的意思決定プロセスに統合する。
• 説明可能性の社会的利点と、データ保存、計算負荷、実装の複雑さなどのコストの間のバランスを取る。
• 説明可能性を、規制および倫理基準と整合する、コアなパフォーマンス指標および安全要件として位置づける。

提案手法

• 4つの主要な文脈的要因を特定：対象者／受信者、影響／被害の可能性、規制フレームワーク、運用文脈。
• 説明可能性のための利用可能な技術的ツールをマップする。これには、入力の摂動、サリエンシー・マップ、およびハイブリッド的記号的・機械学習的手法が含まれる。
• 説明の実装に関連する7つのタイプのコスト（例：保存、計算、監査、法的、評判、機会、監視コスト）を評価する。
• コスト・ベネフィット分析を適用して、グローバル説明とローカル説明の最適なバランスを決定し、社会的総ベネフィットが総コストを上回ることを保証する。
• Solvency IIに類似したリスク評価と監査メカニズムを提案する。独立した規制当局が、高リスクAIシステムのストレステストと認証を実施する。
• AIインパクトアセスメントを、文脈的要因を統合的に評価し、文脈に適した説明可能性ソリューションを設計する公式なメカニズムとして統合する。

実験結果

リサーチクエスチョン

• RQ1 AIシステムにおける説明可能性の水準と形式を決定するための、どのような文脈的要因が関与すべきか？
• RQ2 運用および規制ニーズに基づいて、サリエンシー・マップやハイブリッドAIといった技術的ツールをどのように選択すべきか？
• RQ3 説明可能性を実装する際の主なコストは何か。それらは説明システムの実現可能性と設計にどのように影響するか？
• RQ4 高リスクAIアプリケーションにおいて、説明可能性を安全認証および規制準拠性とどのように一致させるか？
• RQ5 説明可能性が、基本的人権の確保やシステムの説明責任を含む、運用的および倫理的目的の両方を果たす余地はどの程度か？

主な発見

• 説明可能性は、一様な要件ではなく、対象者、リスク、規制、運用ニーズによって駆動される文脈特有のものでなければならない。
• 本フレームワークは、説明可能性の7つの異なるコストを同定しており、特にローカル説明において個別の意思決定ログの保存が主要なコスト要因である。
• 記号的推論と機械学習を組み合わせたハイブリッドAIアプローチは、安全性が求められる分野における説明可能性とパフォーマンスの両方を向上させる有望な道筋を提供する。
• 特に高リスクシステムにおいては、説明可能性を設計段階から組み込むべきであり、後から追加するのではなく、パフォーマンス指標として統合すべきである。
• 金融および産業安全基準（例：Solvency II）を模倣した規制監査は、リスク評価と緩和戦略が堅牢で、独立的に検証可能であることを保証するために不可欠である。
• AIインパクトアセスメントは、文脈的要因を体系的に評価し、適正で比例的で適切な説明可能性ソリューションを設計するのに適した制度的メカニズムである。