[論文レビュー] A Human-Grounded Evaluation Benchmark for Local Explanations of Machine Learning

Sina Mohseni, Eric D. Ragan+1 more|arXiv (Cornell University)|Jan 16, 2018

Explainable Artificial Intelligence (XAI)参考文献 30被引用数 46

ひとこと要約

人間の注意ベースラインを導入し、モデルのサリエンシー説明を定量的に評価する。Grad-CAM と LIME の説明を用いて、多層の人間注意マスクをセグメンテーションマスクおよび人間判断と比較する。

ABSTRACT

Research in interpretable machine learning proposes different computational and human subject approaches to evaluate model saliency explanations. These approaches measure different qualities of explanations to achieve diverse goals in designing interpretable machine learning systems. In this paper, we propose a human attention benchmark for image and text domains using multi-layer human attention masks aggregated from multiple human annotators. We then present an evaluation study to evaluate model saliency explanations obtained using Grad-cam and LIME techniques. We demonstrate our benchmark's utility for quantitative evaluation of model explanations by comparing it with human subjective ratings and ground-truth single-layer segmentation masks evaluations. Our study results show that our threshold agnostic evaluation method with the human attention baseline is more effective than single-layer object segmentation masks to ground truth. Our experiments also reveal user biases in the subjective rating of model saliency explanations.

研究の動機と目的

• 局所的な説明手法の客観的で人間に基づく評価の必要性を動機づける。
• サリエンシー説明の基準真値として多層の人間注意ベンチマークを提案する。
• 画像とテキスト領域の両方で、サリエンシー手法の迅速で再現性のある客観的評価を可能にする。

提案手法

• 画像とテキストについて、サンプルごとに10人のアノテーターから多層の人間注意マスクを収集する。
• 領域/語の結合（ユニオン）を通じて注釈を集約し、多層マスクを形成する。
• 閾値設定なしの画素単位の MAE を用いて、Grad-CAM と LIME のサリエンシマップを3つのベースラインと比較する。
• 画像の場合、ターゲットピクセルを分離するために、正確なセグメンテーションマスクを用いて背景をマスクすることを任意とする。
• ground-truthベースラインと主観的評価を比較するための人間を対象とした研究を実施する。
• 誤検知(FP)と偽陰性(FN)のエラーを別々に分析し、説明エラーの種類を理解する。

実験結果

リサーチクエスチョン

• RQ1 多層の人間注意ベースラインは、単層のセグメンテーションマスクとは異なる客観的な基準真値を提供するか？
• RQ2 Grad-CAMとLIMEのサリエンシマップは、異なる基準真値（人間注意 vs セグメンテーション）および人間判断に対してどう評価されるか？
• RQ3 サリエンシー説明の主観的評価にはどんなバイアスが存在し、FP対FNのエラーは評価にどのように影響するか？
• RQ4 基準真値と主観的評価の間に、同意または不一致という観点でどのような関係があるか？

主な発見

• 人間注意ベースラインはセグメンテーションベースの基準真値と相関する一方、FNエラー処理で差があり、より高い粒度と潜在的な偽陰性を示唆している。
• 主観的な人間評価は双方の基準真値と異なり、説明と評価に測定可能なバイアスを示している。
• 人間注意マスクを用いた基準真値は閾値非依存のMAE評価を生み出し、二値マスク生成を必要とせず、単層マスクを超える粒度を提供する。
• LIMEの説明はGrad-CAMの説明とは異なるユーザー反応を引き出し、視覚的外観が判断に影響を与えることを示している。
• ユーザーはFPエラーに対しては感度が低く、FNエラーには敏感であることを示し、前景の不完全なカバレッジが説明品質の感じ方に影響することを示唆している。
• 本研究は、客観的な基準真値と主観的判断が乖離することを示しており、補完的な評価アプローチの必要性を強調している。