[論文レビュー] OpenXAI: Towards a Transparent Evaluation of Model Explanations

Chirag Agarwal, Ley, Dan+7 more|arXiv (Cornell University)|Jun 22, 2022

Explainable Artificial Intelligence (XAI)被引用数 81

ひとこと要約

OpenXAI は、多様なデータセット、22 の指標、方法を比較する公開リーダーボードを備えた、ポストホック説明を体系的に評価・ベンチマークするオープンソースフレームワークを提示します。

ABSTRACT

While several types of post hoc explanation methods have been proposed in recent literature, there is very little work on systematically benchmarking these methods. Here, we introduce OpenXAI, a comprehensive and extensible open-source framework for evaluating and benchmarking post hoc explanation methods. OpenXAI comprises of the following key components: (i) a flexible synthetic data generator and a collection of diverse real-world datasets, pre-trained models, and state-of-the-art feature attribution methods, and (ii) open-source implementations of eleven quantitative metrics for evaluating faithfulness, stability (robustness), and fairness of explanation methods, in turn providing comparisons of several explanation methods across a wide variety of metrics, models, and datasets. OpenXAI is easily extensible, as users can readily evaluate custom explanation methods and incorporate them into our leaderboards. Overall, OpenXAI provides an automated end-to-end pipeline that not only simplifies and standardizes the evaluation of post hoc explanation methods, but also promotes transparency and reproducibility in benchmarking these methods. While the first release of OpenXAI supports only tabular datasets, the explanation methods and metrics that we consider are general enough to be applicable to other data modalities. OpenXAI datasets and models, implementations of state-of-the-art explanation methods and evaluation metrics, are publicly available at this GitHub link.

研究の動機と目的

• ポストホック説明手法をベンチマークするための拡張可能なオープンソースシステムを作成する。
• データセット、モデル、説明器、評価指標を再現性のあるパイプラインに統合する。
• データセットと指標を横断して説明手法を比較する透明な公開リーダーボードを提供する。
• カスタム説明器、データセット、モデル、指標の拡張を容易にする。

提案手法

• 合成データ生成と実世界データセットを備えた統一的な OpenXAI フレームワークを導入する。
• 忠実度、安定性、フェアネスに関する 22 の定量的指標を実装・公開する。
• 7 種類の特徴量寄与法（例: LIME, SHAP, Vanilla Gradients, Gradient x Input, SmoothGrad, Integrated Gradients）とランダムベースラインの使える実装を提供する。
• 真理値の説明と学習モデルとの整合性に関する理論的保証を備えた新規の合成データジェネレータ（SynthGauss）を開発する。
• データローダー、事前学習済みモデル、説明器、評価者、および公開リーダーボードを含むエンドツーエンドのベンチマークパイプラインを提供する。
• Explainer インターフェースとコミュニティ貢献を通じて新しい手法、データセット、モデル、指標を組み込むことで拡張性を実現する。

実験結果

リサーチクエスチョン

• RQ1 多様なデータセットとモデルに対して、忠実度・安定性・フェアネスの観点から、どのポストホック説明手法が有効か？
• RQ2 合成データの真理値と実世界データセットは、説明手法の評価にどのような影響を与えるか？
• RQ3 公開リーダーボードは、複数の指標とタスクにわたる XAI 手法の透明で再現可能なベンチマークを促進できるか？
• RQ4 最新の説明手法（LIME, SHAP, Vanilla Gradients, Gradient x Input, SmoothGrad, Integrated Gradients）のさまざまな信頼性概念の下での比較性能はどうなるか？

主な発見

• OpenXAI は、多様な指標、データセット、予測モデルにまたがる複数の説明手法のベンチマークを可能にする。
• 真理値と予測忠実度の分析は、異なる指標で異なる手法が優れていることを示し、単一指標評価の限界を浮き彫りにする。
• 安定したパフォーマンスはデータセットとモデルによって異なり、すべての設定で支配的な単一手法は存在しないことを示す。
• フレームワークは、手法間の透明な比較と再現性を促進する初の公開 XAI リーダーボードを導入する。
• 合成データジェネレータ SynthGauss は解釈可能な真理値の説明を生成し、学習モデルと一致することに関する理論的保証をサポートする。