[論文レビュー] Exemplary Natural Images Explain CNN Activations Better than Feature Visualizations

Judy Borowski, R. Zimmermann+5 more|arXiv (Cornell University)|Oct 23, 2020

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

本研究では、CNNの活性化を説明するために、合成特徴可視化と自然な例示画像を比較している。制御された心理物理学的実験を通じて、自然な画像が合成可視化よりも人間の特徴マップ応答の予測に優れていることが判明した（正解率92％対82％）。これは、自然な画像がより情報が多く、将来的な可視化手法の基準として用いられるべきであることを示唆している。

ABSTRACT

Feature visualizations such as synthetic maximally activating images are a widely used explanation method to better understand the information processing of convolutional neural networks (CNNs). At the same time, there are concerns that these visualizations might not accurately represent CNNs' inner workings. Here, we measure how much extremely activating images help humans to predict CNN activations. Using a well-controlled psychophysical paradigm, we compare the informativeness of synthetic images (Olah et al., 2017) with a simple baseline visualization, namely exemplary natural images that also strongly activate a specific feature map. Given either synthetic or natural reference images, human participants choose which of two query images leads to strong positive activation. The experiment is designed to maximize participants' performance, and is the first to probe intermediate instead of final layer representations. We find that synthetic images indeed provide helpful information about feature map activations (82% accuracy; chance would be 50%). However, natural images-originally intended to be a baseline-outperform synthetic images by a wide margin (92% accuracy). Additionally, participants are faster and more confident for natural images, whereas subjective impressions about the interpretability of feature visualization are mixed. The higher informativeness of natural images holds across most layers, for both expert and lay participants as well as for hand- and randomly-picked feature visualizations. Even if only a single reference image is given, synthetic images provide less information than natural images (65% vs. 73%). In summary, popular synthetic images from feature visualizations are significantly less informative for assessing CNN activations than natural images. We argue that future visualization methods should improve over this simple baseline.

研究の動機と目的

• 合成特徴可視化と自然な例示画像が、CNN特徴マップの活性化をどの程度効果的に説明できるかを評価すること。
• もともと基準として意図されていた自然な画像が、CNNの挙動を理解するための合成可視化よりも情報量が多いかを調査すること。
• 異なるネットワーク層および参加者グループにおいて、合成画像と自然な参照画像を用いた際の人間のCNN活性化予測性能を比較すること。
• 参照画像の種別が人間の反応速度、自信、主観的解釈可能性に与える影響を評価すること。

提案手法

• 参加者が2つのクエリ画像のうち、特定のCNN特徴マップをより強く活性化するものを判断する、厳密に制御された心理物理学的実験を実施した。
• 合成の最大活性化画像（Olah et al., 2017）と、同じ特徴マップを強く活性化する実際の自然画像を、参照刺激として用いた。
• 特徴マップ活性化強度の予測を二値分類タスクとして測定し、正解率を主な指標とした。
• 一般化性を評価するために、最終層および中間層の両方をテストした。
• 一般化性を評価するために、専門家および一般参加者からのデータを収集した。
• 単一参照と二重参照の条件を比較することで、画像種別の影響を隔離した。

実験結果

リサーチクエスチョン

• RQ1 合成特徴可視化は、自然な例示画像よりも人間がCNN特徴マップの活性化をより正確に予測するのを助けるか？
• RQ2 人間参加者のCNN活性化予測性能は、合成画像と自然な参照画像の間でどのように異なるか？
• RQ3 自然な画像の優位性は、異なるCNN層および参加者の専門性レベルにわたって維持されるか？
• RQ4 自然画像と合成画像を用いた際の反応時間と自信はどのように異なるか？
• RQ5 1枚の自然画像は、CNN活性化パターンの予測に、合成画像よりもより多くの情報を提供できるか？

主な発見

• 自然な例示画像は、合成特徴可視化を著しく上回り、CNN活性化の予測において92％の正解率を達成したのに対し、合成画像では82％であった。
• 自然な画像の性能優位性は、中間層を含むほとんどのCNN層で一貫して見られた。
• 自然な画像を参照にした際、参加者はより早く、より自信を持って反応しており、利便性の向上が示された。
• 単一の参照画像でも、自然な画像は合成画像よりも優れた予測性能を示した（自然画像：73％、合成画像：65％）。
• 専門家および一般参加者にわたって自然な画像の優位性が維持されたため、広範な適用可能性が示された。
• 合成可視化の主観的解釈可能性は混合しており、自然な画像は一貫して直感的であると認識された。