[論文レビュー] How Well do Feature Visualizations Support Causal Understanding of CNN Activations?

R. Zimmermann, Judy Borowski+4 more|arXiv (Cornell University)|Jun 23, 2021

Explainable Artificial Intelligence (XAI)被引用数 24

ひとこと要約

本研究では、畳み込みニューラルネットワーク（CNN）ユニットの活性化を解釈するために一般的に用いられる合成特徴可視化が、自然画像の例に比べて人間の因果的理解を顕著に向上させるかどうかを評価する。画像の一部を遮断する際のユニット活性化への影響を予測する心理物理学的実験を実施したところ、合成特徴可視化は自然画像の例に比べて僅かな利点しか提供しなかった。これは、合成特徴可視化が人間の因果的洞察を特段支援するという明確な証拠がないことを示唆している。

ABSTRACT

A precise understanding of why units in an artificial network respond to certain stimuli would constitute a big step towards explainable artificial intelligence. One widely used approach towards this goal is to visualize unit responses via activation maximization. These synthetic feature visualizations are purported to provide humans with precise information about the image features that cause a unit to be activated - an advantage over other alternatives like strongly activating natural dataset samples. If humans indeed gain causal insight from visualizations, this should enable them to predict the effect of an intervention, such as how occluding a certain patch of the image (say, a dog's head) changes a unit's activation. Here, we test this hypothesis by asking humans to decide which of two square occlusions causes a larger change to a unit's activation. Both a large-scale crowdsourced experiment and measurements with experts show that on average the extremely activating feature visualizations by Olah et al. (2017) indeed help humans on this task ($68 \\pm 4$% accuracy; baseline performance without any visualizations is $60 \\pm 3$%). However, they do not provide any substantial advantage over other visualizations (such as e.g. dataset samples), which yield similar performance ($66\\pm3$% to $67 \\pm3$% accuracy). Taken together, we propose an objective psychophysical task to quantify the benefit of unit-level interpretability methods for humans, and find no evidence that a widely-used feature visualization method provides humans with better "causal understanding" of unit activations than simple alternative visualizations.

研究の動機と目的

• 合成特徴可視化が人間がCNNユニットの活性化を因果的に理解するのを支援するかどうかを評価すること。
• 特徴可視化が自然データセットのサンプルなどの代替可視化手法に比べて、測定可能な利点を提供するかどうかを検証すること。
• 干渉予測における人間の解釈可能性パフォーマンスを定量化する心理物理学的タスクの開発と検証すること。
• 活性化最大化可視化が、実際のユニット応答を駆動する因果的特徴を真正に分離しているかどうかを調査すること。
• 合成可視化と自然エクземプラーよりも、人間がCNNの挙動について推論するのを支援する有効性を比較すること。

提案手法

• アマゾンのMechanical Turk（MTurk）を用いた大規模なクラウドソーシング実験を実施。参加者は2つの遮断された画像パッチのうち、どちらがCNNユニット活性化により大きな変化をもたらすかを判断した。
• 参加者に使用する視覚的補助資料として、合成特徴可視化（Olahらによるもの）と自然データセットのサンプルを用いた。
• 2つの遮断パッチを画像内の異なる位置に配置し、参加者が相対的な活性化変化を予測するよう設計した。
• データ品質を確保するための除外基準を設定：キャッチトライアル、反応のばらつき、誘導文および全タスクの最低所要時間。
• 結果の一貫性と一般化可能性を確認するため、以前のラボ実験をMTurk参加者を用いて再現した。
• 統計的パワー分析を用いてパフォーマンスを分析し、正確性、信頼度評価、反応時間の報告を行った。

実験結果

リサーチクエスチョン

• RQ1 合成特徴可視化を用いることで、人間の画像遮断がCNNユニット活性化に与える影響を予測する能力が、視覚的補助なしに比べ顕著に向上するか？
• RQ2 干渉の結果を予測するタスクにおいて、特徴可視化が自然画像の例に比べて有意義なパフォーマンスの優位性を示すか？
• RQ3 特徴可視化によって導かれた場合、人間は他の解釈可能性手法に比べてより良い因果的理解を達成するか？
• RQ4 非専門家参加者と専門家参加者の間で、画像操作後の活性化変化の予測パフォーマンスに差があるか？
• RQ5 信頼度評価と反応時間は、干渉予測タスクの正確性とどの程度相関しているか？

主な発見

• 合成特徴可視化を用いた場合、参加者の正確性は68±4%に達し、視覚的補助なしの60±3%のベースラインより顕著に高いことが確認された。
• 自然データセットのサンプルでも正確性は66±3%から67±3%に達し、合成可視化に顕著な利点がないことが示された。
• MTurk参加者の自然画像の使用時の正確性は84±3%であったのに対し、合成可視化では65±3%にとどまり、合成特徴の解釈可能性に限界がある可能性を示唆した。
• 合成可視化を用いた際は正確性が低くても、参加者はより高い自信を持っていた。これは、自信と正答性の間に乖離がある可能性を示している。
• 反応時間は合成可視化を使用した場合に速くなったが、正確性と相関しなかった。これは、速さが理解の向上を示すものではない可能性を示唆している。
• 除外基準により低品質な回答が除外され、全基準を満たした参加者は85%に達し、クラウドソーシング環境における信頼性の高いデータ収集が確保された。