[論文レビュー] A Human-Grounded Evaluation of SHAP for Alert Processing

Hilde Weerts, Werner van Ipenburg+1 more|arXiv (Cornell University)|Jul 7, 2019

Explainable Artificial Intelligence (XAI)参考文献 16被引用数 20

ひとこと要約

本研究では、159名の参加者が実施したアラート処理タスクにおいて、SHAP解釈の人的基盤実験を評価した。タスクパフォーマンスに顕著な向上は見られなかったが、SHAP値は顕著な特徴に注意を向けることで意思決定に影響を与えた。これは、SHAPの有用性が単に正確性を向上させることにではなく、注意を誘導することにあり得ることを示唆している。

ABSTRACT

In the past years, many new explanation methods have been proposed to achieve interpretability of machine learning predictions. However, the utility of these methods in practical applications has not been researched extensively. In this paper we present the results of a human-grounded evaluation of SHAP, an explanation method that has been well-received in the XAI and related communities. In particular, we study whether this local model-agnostic explanation method can be useful for real human domain experts to assess the correctness of positive predictions, i.e. alerts generated by a classifier. We performed experimentation with three different groups of participants (159 in total), who had basic knowledge of explainable machine learning. We performed a qualitative analysis of recorded reflections of experiment participants performing alert processing with and without SHAP information. The results suggest that the SHAP explanations do impact the decision-making process, although the model's confidence score remains to be a leading source of evidence. We statistically test whether there is a significant difference in task utility metrics between tasks for which an explanation was available and tasks in which it was not provided. As opposed to common intuitions, we did not find a significant difference in alert processing performance when a SHAP explanation is available compared to when it is not.

研究の動機と目的

• SHAP解釈の実世界における実用的価値を、人間の専門家が関与する意思決定タスクにおいて評価すること。
• SHAPがアラート処理におけるタスクの効果性、効率性、認知的負荷に与える影響を評価すること。
• 書かれた反省の分析を通じて、SHAPが人間の推論プロセスにどのように影響を与えるかを調査すること。
• SHAP解釈が、モデルの信頼性スコアのみと比較して、測定可能なパフォーマンスの差異を生じさせるかどうかを特定すること。

提案手法

• 159名の参加者が学生の成績データセットを用いて簡略化されたアラート処理タスクを実施した2つの制御実験を実施した。
• 参加者は、SHAP解釈ありとなしの条件下で、予測を真または偽陽性として評価し、条件を交互に変更した。
• 標準化された指標とタスク後アンケートを用いて、タスクの効果性、効率性、認知的負荷を測定した。
• 自然言語処理技術を用いて書かれた推論を分析し、SHAP条件とNoSHAP条件における特徴の言及頻度を比較した。
• t検定や分散分析（ANOVA）などの統計的検定を用いて、条件間のパフォーマンスを比較し、後続の等価性検定を用いて差が顕著でないことを評価した。
• 語句の頻度差に0.2パーセンテージポイントの閾値を設定し、SHAP値が特徴の言及頻度を増加させた事例を同定した。

実験結果

リサーチクエスチョン

• RQ1 SHAP解釈を提供することで、信頼性スコアのみと比較して、アラート処理におけるタスクの効果性が顕著に向上するか？
• RQ2 SHAP解釈の可用性が、人間の意思決定におけるタスクの効率性と認知的負荷にどのように影響するか？
• RQ3 SHAP解釈は、ドメイン専門家によるアラート評価の推論プロセスにどの程度影響を与えるか？
• RQ4 特定の特徴やインスタンスにおいて、SHAP解釈がより一貫性や正確性の高い推論を促すことがあるか？

主な発見

• SHAP解釈ありとなしの条件間で、タスクの効果性、効率性、認知的負荷に統計的に有意な差は認められなかった。
• 参加者は主にモデルの信頼性スコアを、証拠の主要な出所として利用しており、これは誤解を招く可能性がある。
• 大きなSHAP値（絶対値0.07〜0.11の間）は、書かれた推論における特定の特徴値への注目を高める関連が見られた。
• 14件のインスタンスのうち5件で、SHAP条件において特徴値がより頻繁に言及されており、推論に顕著な影響を与えたことが示された。
• 帰無仮説が棄却されなかったのは、小規模な効果サイズによる可能性が高く、データ量の不足によるものではないと考えられる。これは、SHAPが単独で利用する際には限定的な有用性しか持たないことを示唆している。
• SHAP解釈は、参加者が以前に考慮していた特徴値を放棄させたわけではなく、むしろこれまで無視されていた特徴を際立たせた。