[論文レビュー] A psychophysics approach for quantitative comparison of interpretable computer vision models

Felix Bießmann, Dionysius Irza Refiano|arXiv (Cornell University)|Nov 24, 2019

Explainable Artificial Intelligence (XAI)参考文献 30被引用数 4

ひとこと要約

本稿では、画像アノテーションタスクにおける人間のパフォーマンスを測定することで、心理物理学に基づくアプローチを提案し、解釈可能なコンピュータビジョンモデルを定量的に評価する。人間を含む評価（HIL）は、人間の知覚と相関しない場合が多く、モデルの有用性を誤って表現する可能性がある機械中心の指標よりも、はっきりとした、より代表的な解釈性手法の順位付けをもたらすことが示された。

ABSTRACT

The field of transparent Machine Learning (ML) has contributed many novel methods aiming at better interpretability for computer vision and ML models in general. But how useful the explanations provided by transparent ML methods are for humans remains difficult to assess. Most studies evaluate interpretability in qualitative comparisons, they use experimental paradigms that do not allow for direct comparisons amongst methods or they report only offline experiments with no humans in the loop. While there are clear advantages of evaluations with no humans in the loop, such as scalability, reproducibility and less algorithmic bias than with humans in the loop, these metrics are limited in their usefulness if we do not understand how they relate to other metrics that take human cognition into account. Here we investigate the quality of interpretable computer vision algorithms using techniques from psychophysics. In crowdsourced annotation tasks we study the impact of different interpretability approaches on annotation accuracy and task time. In order to relate these findings to quality measures for interpretability without humans in the loop we compare quality metrics with and without humans in the loop. Our results demonstrate that psychophysical experiments allow for robust quality assessment of transparency in machine learning. Interestingly the quality metrics computed without humans in the loop did not provide a consistent ranking of interpretability methods nor were they representative for how useful an explanation was for humans. These findings highlight the potential of methods from classical psychophysics for modern machine learning applications. We hope that our results provide convincing arguments for evaluating interpretability in its natural habitat, human-ML interaction, if the goal is to obtain an authentic assessment of interpretability.

研究の動機と目的

• 心理物理学的手法を用いて、人間中心の定量的評価フレームワークを構築し、解釈可能なコンピュータビジョンモデルを評価すること。
• 異なる手法間で比較可能な標準化された解釈性品質の評価指標の欠如に対処すること。
• 人間を含まない（NHIL）機械ベースの解釈性指標が、人間が感じる解釈性を信頼性を持って反映しているかどうかを調査すること。
• 解釈性手法が人間のアノテーション精度、タスク時間、アルゴリズム的バイアスに与える影響を評価すること。
• 心理物理学実験が、人間-MLインタラクションにおける解釈性の堅牢で本物の評価を提供することを検証すること。

提案手法

• 人間アノテーターがモデルの説明を用いても使わなくても画像アノテーションタスクを実行するクラウドソーシングによる心理物理学実験を実施した。
• Grad-CAM や Guided Backprop などの複数の解釈性手法から得られるサリエンシーマップを、人間の意思決定を支援する視覚的説明として使用した。
• 異なる説明条件におけるアノテーション精度とタスク時間を測定することで、人間のパフォーマンスを評価した。
• 人間を含む（HIL）指標と、L2距離、AUC、Jaccard類似度などの人間を含まない（NHIL）指標を比較した。
• モデルが誤りを犯した際の人間とモデルの予測の重複度を測定することで、アルゴリズム的バイアスを分析した。
• 再現性と手法間の比較可能性を確保するため、標準化された心理物理学実験設計を適用した。

実験結果

リサーチクエスチョン

• RQ1 制御された心理物理学実験において、異なる解釈性手法は人間のアノテーション精度とタスク時間にどのように影響を与えるか？
• RQ2 L2距離、AUC、Jaccard などのNHIL指標は、HILパフォーマンス指標（精度、時間）とどの程度相関しているか？
• RQ3 NHIL指標は、人間の評価と比較して、解釈性手法の順位付けを一貫的かつ代表的に行えるか？
• RQ4 説明の質が、人間が誤ったモデル予測を無批判に再現するアルゴリズム的バイアスにどのように影響するか？
• RQ5 心理物理学実験は、人間-MLインタラクションにおける解釈性評価の信頼性が高く、標準化されたベンチマークとして機能できるか？

主な発見

• 人間を含む評価では、マスクサイズが6％から19％の範囲で、Guided Backprop が最も高いアノテーション精度を示した。
• L2距離、AUC、Jaccard類似度などのNHIL指標は、異なるしきい値において解釈性手法の順位付けを一貫して行えなかった。
• NHIL指標とHILパフォーマンスの間に有意な相関が認められず、機械ベースの指標が人間が感じる解釈性を信頼性を持って反映していないことが示された。
• 人間の精度向上に最も寄与したGuided Backprop は、同時に人間がモデルの誤った予測をより多く再現するという、最も高いアルゴリズム的バイアスを引き起こした。
• 心理物理学実験は、解釈性の質に関する堅牢で安定した、解釈可能な順位付けを提供し、その価値がゴールドスタンダードとして浮き彫りになった。
• 本研究の結論として、NHIL指標は人間中心の解釈性を代表しておらず、モデルの透明性を評価するための唯一の根拠としては使用すべきでない。