[論文レビュー] BIM: Towards Quantitative Evaluation of Interpretability Methods with Ground Truth.

Mengjiao Yang, Been Kim|arXiv (Cornell University)|Jul 23, 2019

Explainable Artificial Intelligence (XAI)参考文献 12被引用数 23

ひとこと要約

本論文では、既知の相対的特徴重要度を有する合成データセットを活用することで、機械学習における特徴帰属割り当て手法の定量的評価フレームワーク「BIM」を紹介する。3つの指標を提案し、モデルや入力間での帰属割り当てを比較することで、特定の手法がより多くの偽陽性の説明を生成することを明らかにした。また、再現可能性を高めるために、データセット、モデル、指標をオープンソース化した。

ABSTRACT

Interpretability is an important area of research for safe deployment of machine learning systems. One particular type of interpretability method attributes model decisions to input features. Despite active development, quantitative evaluation of feature attribution methods remains difficult due to the lack of ground truth: we do not know which input features are in fact important to a model. In this work, we propose a framework for Benchmarking Attribution Methods (BAM) with a priori knowledge of relative feature importance. BAM includes 1) a carefully crafted dataset and models trained with known relative feature importance and 2) three complementary metrics to quantitatively evaluate attribution methods by comparing feature attributions between pairs of models and pairs of inputs. Our evaluation on several widely-used attribution methods suggests that certain methods are more likely to produce false positive explanations---features that are incorrectly attributed as more important to model prediction. We open source our dataset, models, and metrics.

研究の動機と目的

• 機械学習における特徴帰属割り当て手法の評価において、真の基準（ground truth）が欠如している問題に対処すること。
• 既知の相対的特徴重要度を用いて、帰属割り当て手法の定量的比較を可能にするフレームワークを開発すること。
• 既存の帰属割り当て手法に内在する系統的バイアス、特に偽陽性の帰属割り当てを同定すること。
• 再現可能なベンチマークを可能とするため、オープンソースのツール（データセット、トレーニング済みモデル、評価指標）を提供すること。

提案手法

• 基準となる真の基準として機能する、制御可能で既知の相対的特徴重要度を有する合成データセットを設計する。
• 事前に定義された重要度ランクに従って、このデータセット上で複数のモデルを学習させ、評価の基準点を構築する。
• モデル同士や入力同士の帰属割り当てを比較するための3つの補完的指標を定義する。
• 既知の重要度差を持つモデルペアを用いて、帰属割り当て手法がこれらの差をどれだけ正しく検出できるかを評価する。
• 既知の重要度ランクとの整合性を測ることで、帰属割り当ての忠実度（fidelity）を評価する指標を適用する。
• コミュニティ全体でのベンチマークと再現可能性を可能とするために、データセット、モデル、指標をオープンソース化する。

実験結果

リサーチクエスチョン

• RQ1 どの帰属割り当て手法が、モデルの予測における既知の相対的特徴重要度を最も正確に反映しているか？
• RQ2 特徴重要度に既知の差があるモデル同士を比較する際、帰属割り当て手法はどのように性能を発揮するか？
• RQ3 既存の手法がどれほど多くの偽陽性の帰属割り当てを生じさせるか——つまり、実際には影響力のない特徴に重要度を割り当てるか？
• RQ4 異なる評価指標は、帰属割り当て手法の欠陥を検出するためにどのように補い合っているか？

主な発見

• 一部の帰属割り当て手法は、重要でない特徴を影響力のあるものとして誤って特定する傾向が強く、偽陽性の説明を多く生成することが明らかになった。
• 提案された指標は、真の特徴重要度と帰属割り当ての間の不一致を効果的に検出でき、特に既知の重要度差を持つモデルペアにおいて顕著であった。
• フレームワークにより、Integrated Gradients や Grad-CAM といった一般的な手法が、制御された条件下で不同程度の信頼性のばらつきを示すことが明らかになった。
• オープンソース化されたデータセットとモデルにより、異なる研究環境でも一貫性があり再現可能な帰属割り当て手法の評価が可能になった。
• 評価結果から、帰属割り当て手法の信頼性は一様ではなく、モデルアーキテクチャーや入力分布に応じて顕著に変動することが示された。
• 真の特徴重要度が事前に分かっている状況では、解釈可能性の定量的評価が実現可能であることが、このフレームワークによって示された。