[論文レビュー] Is explainable AI a race against model complexity?

Advait Sarkar|arXiv (Cornell University)|May 17, 2022

Explainable Artificial Intelligence (XAI)被引用数 9

ひとこと要約

この論文は、説明可能AIがモデルの複雑さの増大と競う根本的な問題であると主張している。より大きなモデルは、説明におけるますます深刻な損失圧縮を必要とし、完全な透明性は実現不可能である。説明がモデルの複雑さについていけるとしても、論文は人間中心の実用的戦略——例えばインタラクティブ設計、メタモデル、ユーザーの能動的参加——を提唱し、説明不能な世界においても信頼を維持する道筋を示している。

ABSTRACT

Explaining the behaviour of intelligent systems will get increasingly and perhaps intractably challenging as models grow in size and complexity. We may not be able to expect an explanation for every prediction made by a brain-scale model, nor can we expect explanations to remain objective or apolitical. Our functionalist understanding of these models is of less advantage than we might assume. Models precede explanations, and can be useful even when both model and explanation are incorrect. Explainability may never win the race against complexity, but this is less problematic than it seems.

研究の動機と目的

• AIモデルの複雑さの増大が説明可能性を根本的になし得ない要因となるかどうかを調査すること。
• 脳規模の複雑さに近づくモデルのスケーリングに伴い、現在の説明手法の限界を分析すること。
• 人間の推論と認知的制約が、効果的なAI説明の設計にどのように影響するかを明らかにすること。
• 法的、技術的、インタラクティブなアプローチによるAI説明可能性の実現可能性と欠陥を評価すること。
• 完璧な説明を求めるのではなく、高リスクなAIアプリケーションにおいてユーザーの自律性と実用的信頼を支えるシステム設計への移行を提唱すること。

提案手法

• 大規模ニューラルネットワークの説明における理論的・実務的障壁を分析し、説明における損失圧縮に焦点を当てる。
• 人間の説明プロセスとAIの説明を比較し、認知的限界と抽象化の役割を強調する。
• 画像およびNLPタスクにおける類似マップ、対象的反転、注目可視化などの既存の説明技術をレビューする。
• GDPRの「説明の権利」のような立法的枠組みを検討し、その概念的・実務的欠陥を分析する。
• ユーザーを支援するための代替戦略——メタモデルによる説明、エンドユーザープログラミング、インタラクティブ設計——を提唱する。
• クーブラー＝ロスの悲しみの段階モデルを応用し、社会的およびユーザーのAIの不透明性への反応をフレームする。完全な説明可能性ではなく、受容と適応がより現実的な目標であると示唆する。

実験結果

リサーチクエスチョン

• RQ1 モデルサイズの増大に伴い、ますます複雑化するAIモデルの説明は、意味的・正確的・有用性を保ち続けられるか？
• RQ2 認知的・知覚的限界がAI説明の効果性をどの程度制限するか？
• RQ3 GDPRの「説明の権利」のような現在の法的枠組みは、AI説明可能性の核心的課題をどの程度適切に扱っているか、あるいは適切でないか？
• RQ4 モデルの複雑さによって完全な説明が実現不可能になった場合、どのような代替戦略を採用できるか？
• RQ5 完全な透明性が欠如する状況において、ユーザーがAIシステムと対話し、その設計に影響を与えるにはどうすればよいか？

主な発見

• モデルの複雑さが増すにつれ、説明はより大きな損失圧縮を強いられ、説明プロセスにおいて必然的に詳細と微細さが失われる。
• 類似マップや注目可視化といった現在の説明手法は、損失圧縮の形であり、大規模モデルの意思決定プロセスを完全に表現できない。
• GDPRにおける「説明の権利」は概念的には画期的だが、実務的には意味的でない、あるいは実行可能な説明を保証しない。
• 法的・技術的アプローチは、モデルの複雑さと人間の認知的限界の根本的不適合という根本的問題に対処していない。
• インタラクティブ設計、エンドユーザープログラミング、メタモデルといった実用的代替策は、完璧な説明を追求するよりもより現実的な道筋を示している。
• 本論文は、説明可能AIが複雑さの増大とのレースに「勝つ」ことはないが、ユーザーの能動的参加と説明不能性後の戦略によって社会は適応可能であると結論づける。