[論文レビュー] On the Semantic Interpretability of Artificial Intelligence Models

Vivian Dos Santos Silva, André Freitas+1 more|arXiv (Cornell University)|Jul 9, 2019

Explainable Artificial Intelligence (XAI)参考文献 41被引用数 11

ひとこと要約

本論文は、機械学習にとどまらず、分布的意味論、ファジィ論理、その他のAI分野を含む、AIモデルにおける意味的解釈可能性のための架空的分野統合フレームワークを提案する。モデルの解釈可能性統合の仕方（透明型対後処理型）に基づいて分類し、性能を維持しつつ説明可能で実行可能なインサイトを多様なユーザーに提供する、ユーザー中心の解釈可能性レイヤーの導入を主張する。

ABSTRACT

Artificial Intelligence models are becoming increasingly more powerful and accurate, supporting or even replacing humans' decision making. But with increased power and accuracy also comes higher complexity, making it hard for users to understand how the model works and what the reasons behind its predictions are. Humans must explain and justify their decisions, and so do the AI models supporting them in this process, making semantic interpretability an emerging field of study. In this work, we look at interpretability from a broader point of view, going beyond the machine learning scope and covering different AI fields such as distributional semantics and fuzzy logic, among others. We examine and classify the models according to their nature and also based on how they introduce interpretability features, analyzing how each approach affects the final users and pointing to gaps that still need to be addressed to provide more human-centered interpretability solutions.

研究の動機と目的

• 医療、金融、刑事司法など、高リスク意思決定文脈における説明可能なAIの増大するニーズに対応すること。
• 解釈可能性を機械学習にとどめず、分布的意味論やファジィ論理を含む広範なAI分野にまで拡大して検討すること。
• 解釈可能性が統合されている方法（本質的に統合済み（透明型）か、推論後に追加される（後処理型）か）に基づいてAIモデルを分類し、最終ユーザーに与える影響を評価すること。
• 特に使いやすさ、公平性、実世界のワークフローへの統合に関する点で、現在の解釈可能性アプローチのギャップを特定すること。
• 精度のみを重視するモデル開発から、正当性の説明、バイアスの検出、ユーザーの信頼を支援する人間中心設計へのシフトを提唱すること。

提案手法

• ニューラルネットワーク、ファジィ論理、ルールベースシステム、分布的意味論などを含む、AI分野全体にわたる解釈可能性の横断的分析を実施する。
• 解釈可能性統合の仕方に基づき、モデルを透明型（本質的に解釈可能）と後処理型（推論後に説明を追加）に分類する。
• ユーザー中心の視点から解釈可能性を評価し、説明がユーザーの作業負荷、意思決定、信頼に与える影響を分析する。
• 既存のモデルの予測を変更せずに、予測性能を維持しつつ、解釈可能性を向上させる低リスクで段階的なアップグレードとしての解釈可能性レイヤーを提唱する。
• テキスト説明、視覚的強調、図解など、異なる解釈方法が、医師や信用分析担当者といった異なるユーザー役割にどのように対応するかを分析する。
• モデルの精度と解釈可能性のトレードオフを検討し、性能を維持しつつ透明性を高める手法を提唱する。

実験結果

リサーチクエスチョン

• RQ1 機械学習を越えて、分布的意味論やファジィ論理といった多様なAI分野において、解釈可能性を意味的に定義し、実装することは可能か？
• RQ2 透明型モデルと後処理型説明手法の間で、ユーザーへの影響にどのような違いがあり、非技術的ユーザーに適しているのはどちらか？
• RQ3 解釈可能性レイヤーは、予測や性能を変更せずに、展開済みAIシステムに対する安全で段階的なアップグレードをどのように可能にするか？
• RQ4 解釈可能なモデルは、訓練データに埋め込まれた社会的バイアスを検出し、是正するのに、どのように役立つのか？特に高リスク応用分野において。
• RQ5 意思決定を支援するが、認知的負担を増加させない、使いやすく実行可能な説明を設計する上で、主な課題は何か？

主な発見

• テキスト的正当化や視覚的注目マップといった後処理型の説明は、開発者でないユーザー（例：医師、信用分析担当者）にとって、低レベルのモデル内省よりも適している。
• Google Photosの事例（黒人をサルと誤分類）は、解釈可能性の欠如が、モデルの障害を早期に検出・是正できない状況を示している。
• 非常に高い精度を持つモデルでさえ、社会的バイアスを拡大する可能性がある。例えば、性別バイアスのあるデータで学習させたモデルは、活動予測における性別格差を33％から68％に増大させた。
• 解釈可能性レイヤーは、再トレーニングやモデル交換なしに透明性を高める実現可能な道筋を提供し、重要なシステムへの低リスク導入を可能にする。
• 透明型モデル（例：意思決定リスト、ファジィ論理）は本質的により解釈可能であるが、エンドユーザーが複雑な論理形式を理解するのを避けるためにも、説明レイヤーの支援は依然として有効である。
• ユーザー中心の解釈可能性ソリューションには依然として大きなギャップがあり、特に説明をユーザーのワークフローにスムーズに統合し、認知的負担を増加させない点で課題が残っている。