[論文レビュー] How Useful Are the Machine-Generated Interpretations to General Users? A Human Evaluation on Guessing the Incorrectly Predicted Labels

Hua Shen, Ting-Hao Huang|arXiv (Cornell University)|Aug 26, 2020

Explainable Artificial Intelligence (XAI)参考文献 16被引用数 4

ひとこと要約

本研究では、機械生成された視覚的解釈（例：サリエンシーマップ）が一般ユーザーが深層ニューラルネットワークの誤分類の理由を理解するのを助けるかどうかを評価する。ImageNetの200枚の画像を対象としたクラウドソーシング実験の結果、解釈が提示されることで、誤ったモデル予測を当てる際の人間の正確性が約10%低下することが判明した。これは、解釈が誤りを明確にするのではなく、むしろ誤解を招く可能性があることを示唆している。

ABSTRACT

Explaining to users why automated systems make certain mistakes is important and challenging. Researchers have proposed ways to automatically produce interpretations for deep neural network models. However, it is unclear how useful these interpretations are in helping users figure out why they are getting an error. If an interpretation effectively explains to users how the underlying deep neural network model works, people who were presented with the interpretation should be better at predicting the model's outputs than those who were not. This paper presents an investigation on whether or not showing machine-generated visual interpretations helps users understand the incorrectly predicted labels produced by image classifiers. We showed the images and the correct labels to 150 online crowd workers and asked them to select the incorrectly predicted labels with or without showing them the machine-generated visual interpretations. The results demonstrated that displaying the visual interpretations did not increase, but rather decreased, the average guessing accuracy by roughly 10%.

研究の動機と目的

• 機械生成された視覚的解釈が、一般ユーザーが画像分類における深層ニューラルネットワークの誤りを推論する能力を向上させるかどうかを評価すること。
• 解釈が、モデルが誤った予測をした理由を特定するのをユーザーに支援するかどうかを調査すること、特に誤分類が生じた場合を想定する。
• 後処理による解釈（例：サリエンシーマップ）が、非専門家ユーザーがモデルの失敗を理解するのをどの程度支援するかを評価すること。
• 解釈が人間の誤り推論を支援するか、あるいは逆に妨げる条件を特定すること。

提案手法

• 150名のクラウドワーカーを対象に、Amazon Mechanical Turkを用いた2つの制御実験を実施し、誤ったラベルを当てる人間のパフォーマンスを評価した。
• 各被験者に画像と正解ラベルを提示し、モデルが誤りを犯したことを通知したが、解釈（機械生成サリエンシーマップ）の有無によって条件を分けた。
• 被験者内設計を採用し、各画像を「解釈あり（[Int]）」および「解釈なし（[No-Int]）」の両条件で提示することで、画像のばらつきを制御した。
• 合計2,000件の回答を収集（各条件1,000件）、[Int]群に42名、[No-Int]群に63名を割り当て、条件間に重複がないようにした。
• 5択の選択肢（4つの誤り候補）から正しい誤ったラベルを選択する際の人間の正確性を測定し、解釈の影響を評価した。
• 解釈あり（[Int]）となし（[No-Int]）の間の当てる正確性の差の有意性を検証するために、対応t検定を実施した。

実験結果

リサーチクエスチョン

• RQ1 機械生成された視覚的解釈を提示することで、ユーザーが画像の誤って予測されたラベルを当てる能力が向上するか？
• RQ2 特定のタイプの誤分類エラーでは、解釈がより有効または無効である場合があるか？
• RQ3 解釈の有無が、人間の当てる正確性に統計的に有意な影響を与えるか？
• RQ4 どのような条件下で解釈がユーザーのモデル誤り理解を妨げるのか？

主な発見

• 解釈あり（[Int]）条件での平均的当てる正確性は0.63、解釈なし（[No-Int]）条件では0.73であり、解釈提示による正確性の有意な低下（10%）が確認された（p < 0.01）。
• C3（類似する物体）カテゴリでは、正確性が解釈なしの0.84から解釈ありの0.66に低下し、解釈がパフォーマンスを悪化させたことが示された。
• C4（背景やシーンの混乱による誤り）カテゴリでは、正確性が解釈なしの0.59から解釈ありの0.41に低下し、顕著な負の影響が確認された。
• 一方、C1およびC2カテゴリでは、解釈提示により正確性がわずかに上昇した（C1：0.57 vs. 0.52；C2：0.74 vs. 0.71）が、有意差は認められなかった。
• 全体的な結果から、視覚的解釈は人間のモデル誤分類の推論を改善せず、むしろ低下させたことが示された。
• これらの結果は、解釈が、特に視覚的類似性や画像背景における誤った相関関係がある場合に、ユーザーを誤解させる可能性があることを示唆している。