[論文レビュー] The Meta-Evaluation Problem in Explainable AI: Identifying Reliable Estimators with MetaQuantus

Anna Karin Hedström, Philine Lou Bommer+4 more|ArXiv.org|Feb 14, 2023

Explainable Artificial Intelligence (XAI)被引用数 9

ひとこと要約

この論文は XAI 推定量のメタ評価問題を定義し、 ground truth の説明なしに推定量の信頼性をノイズ耐性と乱数反応性で評価する MetaQuantus というフレームワークを導入する。

ABSTRACT

One of the unsolved challenges in the field of Explainable AI (XAI) is determining how to most reliably estimate the quality of an explanation method in the absence of ground truth explanation labels. Resolving this issue is of utmost importance as the evaluation outcomes generated by competing evaluation methods (or ''quality estimators''), which aim at measuring the same property of an explanation method, frequently present conflicting rankings. Such disagreements can be challenging for practitioners to interpret, thereby complicating their ability to select the best-performing explanation method. We address this problem through a meta-evaluation of different quality estimators in XAI, which we define as ''the process of evaluating the evaluation method''. Our novel framework, MetaQuantus, analyses two complementary performance characteristics of a quality estimator: its resilience to noise and reactivity to randomness, thus circumventing the need for ground truth labels. We demonstrate the effectiveness of our framework through a series of experiments, targeting various open questions in XAI such as the selection and hyperparameter optimisation of quality estimators. Our work is released under an open-source license (https://github.com/annahedstroem/MetaQuantus) to serve as a development tool for XAI- and Machine Learning (ML) practitioners to verify and benchmark newly constructed quality estimators in a given explainability context. With this work, we provide the community with clear and theoretically-grounded guidance for identifying reliable evaluation methods, thus facilitating reproducibility in the field.

研究の動機と目的

• 評価者間での相違により XAI 品質推定量のメタ評価の必要性を動機づける。
• ground-truth の説明なしに推定量の信頼性を評価する formal フレームワークを提案する。
• 推定量の選択と調整を導く失敗モードと信頼性指標を導入する。
• メタ評価がタスク全体での推定量選択とハイパーパラメータ最適化を支援する方法を実証する。

提案手法

• 検証可能空間と検証不能空間の formal DAG を用いて attribution-based explanations の評価問題をモデル化する。
• 推定量の二つの失敗モードを定義する：ノイズ耐性 (NR) と対乱広告性反応性 (AR)。
• 検証可能空間へ minor perturbation および disruptive perturbation を導入して推定量をストレステストする（入力またはモデルの摂動）。
• 摂動に対する推定量の反応を統計的検定で測定するための intra-consistency (IAC) および inter-consistency (IEC) 基準を導入する。
• NR と AR の評価を統合して推定量の信頼性を要約する Meta-Consistency (MC) スコアを作成する。
• p値計算とランキングベースの指標の算出方法を含む、実用的な摂動スキームと評価手順を提供する。

実験結果

リサーチクエスチョン

• RQ1 ground truth がない状態で説明方法の品質推定量の信頼性をどのように信頼性高く評価できるか？
• RQ2 推定量の頑健性と制御された摂動下での感度を最もよく捉える失敗モードは何か？
• RQ3 メタ評価フレームワークは XAI タスク全体での推定量選択とハイパーパラメータ調整を導くことができるか？

主な発見

• メタ評価フレームワークはノイズ耐性と乱数反応性への撹乱を通じて信頼性のある推定量を特定できる。
• フレームワークは摂動下での推定量の性能を定量化するための intra- および inter-consistency 指標を利用する。
• 単一の Meta-Consistency スコアが NR と AR の洞察を統合して推定量を比較できるようにする。
• 実験により、データセットとモデル全体での推定量選択とハイパーパラメータ最適化に対する本フレームワークの有用性を示す。