[論文レビュー] Quantifying Interpretability and Trust in Machine Learning Systems

Philipp Schmidt, Felix Bießmann|arXiv (Cornell University)|Jan 20, 2019

Explainable Artificial Intelligence (XAI)参考文献 6被引用数 71

ひとこと要約

本論文は、MLの意思決定における解釈可能性と信頼を測定する定量的指標を提案し、クラウドソーシング実験とタスクを通じてそれらの利用を実証する。解釈可能性は人間の生産性を向上させる一方で、偏った信頼を明らかにすることを示します。

ABSTRACT

Decisions by Machine Learning (ML) models have become ubiquitous. Trusting these decisions requires understanding how algorithms take them. Hence interpretability methods for ML are an active focus of research. A central problem in this context is that both the quality of interpretability methods as well as trust in ML predictions are difficult to measure. Yet evaluations, comparisons and improvements of trust and interpretability require quantifiable measures. Here we propose a quantitative measure for the quality of interpretability methods. Based on that we derive a quantitative measure of trust in ML decisions. Building on previous work we propose to measure intuitive understanding of algorithmic decisions using the information transfer rate at which humans replicate ML model predictions. We provide empirical evidence from crowdsourcing experiments that the proposed metric robustly differentiates interpretability methods. The proposed metric also demonstrates the value of interpretability for ML assisted human decision making: in our experiments providing explanations more than doubled productivity in annotation tasks. However unbiased human judgement is critical for doctors, judges, policy makers and others. Here we derive a trust metric that identifies when human decisions are overly biased towards ML predictions. Our results complement existing qualitative work on trust and interpretability by quantifiable measures that can serve as objectives for further improving methods in this field of research.

研究の動機と目的

• MLの意思決定における測定可能な解釈可能性と信頼の必要性を喚起する。
• 解釈可能性手法の品質を評価する定量的指標を提案する。
• ML予測に影響された偏った人間の意思決定を識別する信頼指標を導出する。

提案手法

• 説明下で人間がMLモデルの予測をどれだけうまく再現するかを捉える情報伝達率に基づく指標を定義する。
• 異なる解釈可能性手法が人間の理解と遂行にどのように影響するかを評価するためにクラウドソーシング実験を用いる。
• 説明を提供することがアノテーション作業の生産性を2倍以上にすることを示す。
• 人間の判断がML予測に過度に偏っている場合を検出する信頼指標を導出する。

実験結果

リサーチクエスチョン

• RQ1 定量的指標は、解釈可能な説明とそうでない説明を信頼性高く区別できるか？
• RQ2 解釈可能性はML支援タスクにおける人間の意思決定の効率と正確性を向上させるか？
• RQ3 人間がML予測に偏った信頼を示すのはどのような条件下で、そしてそれをどのように定量化できるか？

主な発見

• 提案された情報伝達率指標は、クラウドソーシング研究において解釈可能性手法を頑健に区別する。
• 説明はアノテーション作業の生産性を大幅に向上させる（2倍以上）。”
• 導出された信頼指標は、人間の判断がML予測に過度に偏っている場合を識別する。