[論文レビュー] Are Visual Explanations Useful? A Case Study in Model-in-the-Loop Prediction

Eric Chu, Deb Roy+1 more|arXiv (Cornell University)|Jul 23, 2020

Explainable Artificial Intelligence (XAI)被引用数 28

ひとこと要約

本研究は、モデル・イン・ザ・ループにおける年齢予測タスクにおいて、視覚的説明が人間の精度と信頼性に与える影響を調査するものである。高品質、ありきたりな、ランダムなモデルからのサリエンシー・マップを用いた無作為化比較試験の結果、説明の品質にかかわらず、人間のパフォーマンス、信頼性、理解度に有意な影響は認められなかった。

ABSTRACT

We present a randomized controlled trial for a model-in-the-loop regression task, with the goal of measuring the extent to which (1) good explanations of model predictions increase human accuracy, and (2) faulty explanations decrease human trust in the model. We study explanations based on visual saliency in an image-based age prediction task for which humans and learned models are individually capable but not highly proficient and frequently disagree. Our experimental design separates model quality from explanation quality, and makes it possible to compare treatments involving a variety of explanations of varying levels of quality. We find that presenting model predictions improves human accuracy. However, visual explanations of various kinds fail to significantly alter human accuracy or trust in the model - regardless of whether explanations characterize an accurate model, an inaccurate one, or are generated randomly and independently of the input image. These findings suggest the need for greater evaluation of explanations in downstream decision making tasks, better design-based tools for presenting explanations to users, and better approaches for generating explanations.

研究の動機と目的

• 高品質な視覚的説明が、モデル・イン・ザ・ループ設定における人間の意思決定の精度を向上させるかどうかを評価すること。
• 誤ったまたはランダムな説明が、モデル予測に対する人間の信頼性を低下させるかどうかを評価すること。
• 複雑で現実世界の認識タスクにおいて、説明の品質とモデルのパフォーマンスの影響を分離すること。
• 説明が、バイアスや誤ったモデルを特定するための認証手段として機能できるかどうかを調査すること。
• 忠実な説明が inherently 人間-AI協働を向上させるという仮定に疑問を呈すること。

提案手法

• Webベースのプラットフォームを用いて、1,000名を超える参加者を対象に、画像ベースの年齢予測に関する無作為化比較試験を実施した。
• APPA-REALデータセットで微調整されたワイドResNetモデルを用い、5.24 MAE（人間水準に近い性能）を達成した。
• 3種類の視覚的説明を生成した：統合勾配（忠実な説明）、ありきたりな相関関係を持つモデルからのサリエンシー、入力に依存しないランダムマップ。
• 参加者を、モデル予測、説明タイプ、モデル性能の説明の組み合わせが異なる治療群に割り当てた。
• 参加者が事前に予測した結果よりもモデルが優れているか、劣っているかの画像を等比で含むようにデータセットをバランスさせた。
• 人間の精度、予測に対する信頼性、モデル行動の理解度を測定した。

実験結果

リサーチクエスチョン

• RQ1 高品質な視覚的説明を提供することで、モデル・イン・ザ・ループにおける年齢予測タスクでの人間の精度が有意に向上するか？
• RQ2 誤ったまたはランダムな説明は、モデル予測に対する人間の信頼性を有意に低下させるか？
• RQ3 説明の品質が異なる場合、人間のパフォーマンスや信頼性に測定可能な差が生じるか？
• RQ4 視覚的説明は、ユーザーがモデルのバイアスや誤りを検出するための認証メカニズムとして機能できるか？
• RQ5 説明の有無（品質にかかわらず）が、人間のモデル行動理解に影響を及えるか？

主な発見

• モデル予測を単独で提供することで、モデル支援なしの状況と比較して人間の精度が有意に向上した。
• 忠実な、ありきたりな、またはランダムな品質の視覚的説明であっても、人間の精度に有意な影響は認められなかった。
• 明らかに信頼性の低いランダムな説明でさえ、モデル予測に対する人間の信頼性を低下させることはできなかった。
• 高品質な説明とランダムまたは誤った説明を含む治療群との間で、信頼性や理解度に有意な差は認められなかった。
• 視覚的サリエンシー説明の品質は、モデル・イン・ザ・ループタスクにおける人間の意思決定結果に影響を及ぼさなかった。
• 本研究は、ピクセル単位の属性説明が、後続の人のAI協働を向上させるのに効果的でない可能性を示唆している。