[論文レビュー] Overinterpretation reveals image classification model pathologies

Brandon Carter, Siddhartha Jain+2 more|arXiv (Cornell University)|Mar 19, 2020

Adversarial Robustness in Machine Learning参考文献 50被引用数 9

ひとこと要約

この論文は、意味のない、顕著でない画像領域に基づいて高信頼度の予測を行う画像分類モデルにおける病理的状態「過解釈（overinterpretation）」を特定する。著者らは、新規のバッチ化勾配SIS法を用いて、CIFAR-10およびImageNetのモデルが入力画素の95％をマスクしても高い精度を達成できることを示し、ベンチマークデータセットにおける偶然的統計的パターンに依存していること、意味的意味を持つ特徴を学習しているのではなく、頑健な特徴を学習していないことを明らかにする。

ABSTRACT

Image classifiers are typically scored on their test set accuracy, but high accuracy can mask a subtle type of model failure. We find that high scoring convolutional neural networks (CNNs) on popular benchmarks exhibit troubling pathologies that allow them to display high accuracy even in the absence of semantically salient features. When a model provides a high-confidence decision without salient supporting input features, we say the classifier has overinterpreted its input, finding too much class-evidence in patterns that appear nonsensical to humans. Here, we demonstrate that neural networks trained on CIFAR-10 and ImageNet suffer from overinterpretation, and we find models on CIFAR-10 make confident predictions even when 95% of input images are masked and humans cannot discern salient features in the remaining pixel-subsets. We introduce Batched Gradient SIS, a new method for discovering sufficient input subsets for complex datasets, and use this method to show the sufficiency of border pixels in ImageNet for training and testing. Although these patterns portend potential model fragility in real-world deployment, they are in fact valid statistical patterns of the benchmark that alone suffice to attain high test accuracy. Unlike adversarial examples, overinterpretation relies upon unmodified image pixels. We find ensembling and input dropout can each help mitigate overinterpretation.

研究の動機と目的

• 深層学習モデルにおける以前に認識されていなかった障害モード「過解釈（overinterpretation）」を特定・診断すること。これは、意味のない顕著でない画像領域に基づいて、モデルが自信を持って予測を行う状態である。
• CIFAR-10やImageNetといった標準ベンチマークで高いテスト精度を示すモデルが、偶然的統計的信号に依存しているため、その背後にあるモデルの脆さが隠されている可能性を示すこと。
• 高次元データ（例：ImageNet）における画像分類意思決定のための最小十分入力サブセット（SIS）を効率的に同定するためのスケーラブルな手法「バッチ化勾配SIS」を考案・適用すること。
• アンサンブル化と入力ドロップアウトといった緩和戦略の効果を評価し、過解釈を軽減し、特徴の解釈可能性を向上させること。
• これらの病理的特性が社会的影響およびデータセットキュレーションに与える影響を強調し、より頑健で多様な訓練データの必要性を訴えること。

提案手法

• 高次元データ（例：ImageNet）における画像分類意思決定のための最小十分入力サブセット（SIS）を効率的に同定するための新規手法「バッチ化勾配SIS」を提案する。
• 勾配に基づくマスキングを用い、信頼度閾値（例：0.9）を超える予測を維持できる最小の画素集合を反復的に同定する。
• ResNets、DenseNets、Vision Transformers（ViT）といった複数のモデルを用い、CIFAR-10およびImageNet上でSISのサイズと構成を評価する。
• 入力画素の90–95％を体系的にマスクし、残りの特徴が十分であるかを再評価することで、その妥当性をテストする。
• 人間による評価を用いて、SIS領域がしばしば意味的コンテンツを欠いていること、それでもモデルが自信を持って予測することを確認する。
• 推論時にアンサンブル化と入力ドロップアウトを適用し、過解釈の軽減およびSISの意味的整合性の向上に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 CIFAR-10およびImageNetにおける最先端の画像分類器は、顕著でない、意味のない画像領域にどれほど依存して、自信を持って予測を行っているのか？
• RQ2 入力画素の95％がマスクされた状態でも、残りの画素が明確な意味的特徴を含んでいなくても、モデルが高いテスト精度を維持できるのか？
• RQ3 過解釈を可能にする偶然的信号の統計的性質は何か？ そして、それらは学習分布とテスト分布の両方で一般化するのか？
• RQ4 アンサンブル化と入力ドロップアウトは、モデルがより意味的意味のある特徴に依存するよう促すことで、過解釈を効果的に軽減できるのか？
• RQ5 Vision Transformers（ViT）は、ImageNetにおいてCNNと比較して過解釈に対してどれほど感受性を示すのか？

主な発見

• CIFAR-10では、入力画素の95％がマスクされても、モデルが高精度（最大95.5％）を維持し、最小限の意味のない画素サブセットに基づく予測がなされている。
• ImageNetでは、元の画像画素の10％しか残っていない状態でも、モデルが80％以上の精度を達成しており、境界線やテクスチャのようなパターンだけでも分類に十分であることが示された。
• ImageNetのクラス全体を通じた平均SISサイズは、1.1％（bearskin）から40.0％（English foxhound）の範囲にあり、多くのクラスが5％未満の画素で自信を持って予測している。
• Vision Transformers（ViT）も過解釈を示しており、意味のないパターンを含むSIS領域でも90％以上の信頼度の予測が可能である。
• アンサンブル化と入力ドロップアウトは、SISの意味的コンテンツを増加させることで過解釈を軽減するが、偶然的統計的信号への依存を完全に排除はしない。
• 本研究は、過解釈がCIFAR-10やImageNetのようなベンチマークの統計的性質に起因するものであり、モデル固有の欠陥ではなく、データ分布内の退化した信号に起因するものであることを明らかにした。