[論文レビュー] Beyond Explaining: Opportunities and Challenges of XAI-Based Model Improvement

Leander Weber, Sebastian Lapuschkin+2 more|arXiv (Cornell University)|Mar 15, 2022

Explainable Artificial Intelligence (XAI)被引用数 10

ひとこと要約

本稿は、解釈可能AI（XAI）をモデルの意思決定を解釈するだけでなく、損失関数の正則化、データ拡張、アーキテクチャの変更を通じて機械学習モデルを能動的に改善するための体系的フレームワークを提示する。XAIに基づく改善は、一般化性能、公平性、推論能力の向上に寄与することが示されたが、その有効性はモデル、データセット、説明手法の選択に強く依存する。

ABSTRACT

Explainable Artificial Intelligence (XAI) is an emerging research field bringing transparency to highly complex and opaque machine learning (ML) models. Despite the development of a multitude of methods to explain the decisions of black-box classifiers in recent years, these tools are seldomly used beyond visualization purposes. Only recently, researchers have started to employ explanations in practice to actually improve models. This paper offers a comprehensive overview over techniques that apply XAI practically for improving various properties of ML models, and systematically categorizes these approaches, comparing their respective strengths and weaknesses. We provide a theoretical perspective on these methods, and show empirically through experiments on toy and realistic settings how explanations can help improve properties such as model generalization ability or reasoning, among others. We further discuss potential caveats and drawbacks of these methods. We conclude that while model improvement based on XAI can have significant beneficial effects even on complex and not easily quantifyable model properties, these methods need to be applied carefully, since their success can vary depending on a multitude of factors, such as the model and dataset used, or the employed explanation method.

研究の動機と目的

• XAIを用いたモデル改善に関する体系的理解の欠如に取り組むこと。現状、説明に焦点が当たっており、実行可能なモデル強化には至っていない。
• モデルの性質の改善対象、拡張成分、人的関与、モデルに依存しない性質の観点から、既存のXAIベースのモデル改善手法を分類・比較すること。
• トイおよび実世界のタスクにおけるXAIドリブンの改善の影響を実証的に評価し、一般化性能、推論能力、公平性の向上を測定すること。
• 説明を用いてモデル学習やアーキテクチャ変更を誘導する際の主な課題、制限、潜在的な副作用を同定すること。
• 研究者および実務家が、いつ、どのように効果的にXAIをモデル改善に応用すべきかを示す実用的推奨事項を提供すること。

提案手法

• 改善対象の性質（例：公平性、推論能力）、拡張成分（例：損失関数、データ、アーキテクチャ）、人的関与のレベルなどの次元に沿って、XAIベースのモデル改善手法を体系化する理論的フレームワークを提唱する。
• 手法を3つの主要カテゴリに分類する：説明を用いた損失関数正則化、説明をガイドとして用いたデータ拡張、説明の知見に基づく事後モデル変更（例：プルーニング、量子化）。
• 勾配ベースで微分可能な説明手法（例：セラニティマップ）を用い、説明信号を介したバックプロパゲーションを可能にすることで、XAIにインスパイアされた正則化を組み込んだエンドツーエンド学習を実現する。
• 合成（トイ）および実世界のデータセットを用いた制御実験を通じて、XAIベースの拡張がモデル性能および挙動に与える影響を評価する。
• ハイパーパrameter、正規化、説明手法の選択が、XAIドリブンの改善の信頼性および有効性に与える影響を分析する。
• 人的フィードバックを統合した「人間を中核に置いたフィードバック」を用いて、推論能力および公平性の向上を図る。説明を用いて誤った特徴量やバイアスの依存を特定・ペナルティ化する。

実験結果

リサーチクエスチョン

• RQ1 XAIをどのように体系的に活用することで、精度を超えて推論能力、公平性、一般化性能といったモデル特性を改善できるか？
• RQ2 XAIベースのモデル改善の主な手法的カテゴリは何か？ それらは有効性、スケーラビリティ、人的関与の観点でどのように異なるか？
• RQ3 XAIベースの改善は、説明手法、モデルアーキテクチャ、データセット、ハイパーパrameterの選択にどの程度依存するか？
• RQ4 説明を用いてモデル学習やアーキテクチャ変更を誘導する際の潜在的副作用や意図しない結果は何か？
• RQ5 XAIベースの改善は、標準的な指標にやや悪影響を及えるとしても、耐性や公平性といった意味的特性の向上に実質的な効果をもたらすのか？

主な発見

• 説明を用いた損失関数正則化や、誤った特徴量への依存をペナルティ化することで、XAIベースのモデル改善は一般化性能および推論能力の向上に顕著な効果を示す。
• 勾配ベースの説明を用いた損失関数正則化は、最も広範に適用可能で効果的なアプローチであるが、微分可能である必要があり、セラニティマップなどの手法に限定される。
• 説明に基づくデータ拡張は、特に人的フィードバックを組み合わせてバイアスのある特徴量の使用を是正することで、モデルの耐性および公平性の向上に寄与する。
• プルーニングや量子化などの事後変更は、説明に基づく場合、モデル効率の向上には有効だが、推論能力や公平性の向上には効果がない。
• XAIベースの改善の成功は、説明手法、モデル、データセット、ハイパーパrameterの選択に極めて敏感であり、設定によっては効果が微小または一貫性のない場合が多い。
• 推論能力や公平性といった意味的特性の向上は、標準的な指標（例：精度）の低下を伴うことがあり、信頼性のあるAIを評価するには従来の指標だけでは不十分である可能性を示唆している。