[論文レビュー] Evaluating Explainers via Perturbation

Minh N. Vu, Truc Nguyen+3 more|arXiv (Cornell University)|Jun 5, 2019

Explainable Artificial Intelligence (XAI)参考文献 7被引用数 15

ひとこと要約

本稿では、特徴に基づく解釈可能モデルの品質を、予測を変更するのに必要な最小の摂動エネルギーを測定することで評価する新しい指標、c-Eval を導入する。この方法は摂動の強度と解釈の忠実度を結びつけ、複数のデータセットにわたる低複雑性で包括的な評価を可能にするc-Evalプロットを用いる。

ABSTRACT

Due to high complexity of many modern machine learning models such as deep convolutional networks, understanding the cause of model’s prediction is critical. Many explainers have been designed to give us more insights on the decision of complex classifiers. However, there is no common ground on evaluating the quality of different classification methods. Motivated by the needs for comprehensive evaluation, we introduce the c-Eval metric and the corresponding framework to quantify the explainer’s quality on feature-based explainers of machine learning image classifiers. Given a prediction and the corresponding explanation on that prediction, c-Eval is the minimum-power perturbation that successfully alters the prediction while keeping the explanation’s features unchanged. We also provide theoretical analysis linking the proposed parameter with the portion of predicted ob- ject covered by the explanation. Using a heuristic approach, we introduce the c-Eval plot, which not only displays a strong connection between c-Eval and explainers’ quality, but also serves as a low-complexity approach of assessing explainers. We finally conduct extensive experiments of explainers on three different datasets in order to support the adoption of c-Eval in evaluating explainers’ performance.

研究の動機と目的

• 複雑な画像分類器における特徴に基づく解釈可能モデルの標準化された評価フレームワークの欠如に対処すること。
• 入力への摂動に対する耐性に基づいて、解釈可能モデルの品質を定量的に測定する指標を開発すること。
• 摂動の強度と解釈が予測された物体のどの程度をカバーしているかの割合との間の理論的リンクを確立すること。
• 異なるモデルやデータセットにおいて解釈可能モデルを比較可能な実用的で低複雑性の評価ツール—c-Evalプロット—を提供すること。

提案手法

• c-Eval は、解釈の特徴を変更せずにモデルの予測を変更するのに必要な最小エネルギーの摂動として定義される。
• この方法は、与えられた入力と解釈に対して c-Eval を計算するためにヒューリスティックな最適化アプローチを用いる。
• 理論的分析により、c-Eval が解釈がカバーする予測された物体の割合と関連づけられ、摂動の強度と解釈の忠実度の関係が明確にされる。
• c-Evalプロットは可視化ツールとして導入され、複数の入力における c-Eval 値をプロットすることで、解釈可能モデルの性能傾向を明らかにする。
• このフレームワークは、3つの多様な画像分類データセットに応用され、その汎用性が検証された。
• このアプローチにより、真の解釈が不要な状況でも、摂動の挙動に依存して解釈可能モデルを比較可能となる。

実験結果

リサーチクエスチョン

• RQ1 真の解釈が存在しない状況において、特徴に基づく画像分類器の解釈可能モデルの品質をどのように客観的に測定できるか。
• RQ2 予測を変更するために必要な最小摂動と解釈の忠実度との間にはどのような関係があるか。
• RQ3 c-Evalプロットは、異なるモデルやデータセットにおける解釈可能モデルの性能差を効果的に明らかにできるか。
• RQ4 c-Eval と解釈が予測された物体のどの程度をカバーしているかの割合との相関はどの程度強いのか。
• RQ5 c-Eval は、実世界の機械学習応用における解釈可能モデルの評価にスケーラブルで実用的な指標とみなせるか。

主な発見

• c-Eval は、真の解釈が不要な状況でも、信頼性の高い客観的指標を提供する。
• c-Eval 値と解釈の忠実度の間に強い相関が存在し、c-Eval が高くなるほどより信頼性の高い解釈が得られる。
• c-Evalプロットは、異なるモデルやデータセットにおける解釈可能モデルの性能差を効果的に可視化でき、迅速な比較が可能である。
• 理論的分析により、c-Eval が解釈がカバーする予測された物体の割合に比例することが確認された。
• 3つのデータセットにおける広範な実験により、c-Eval が人間の評価傾向と一貫した順位付けを示すことが実証された。
• この方法は計算的に効率的でスケーラブルであり、実際の現場における解釈可能モデルの日常的評価に適している。