[論文レビュー] Time for a Background Check! Uncovering the impact of Background Features on Deep Neural Networks

Vikash Sehwag, Rajvardhan Oak+2 more|arXiv (Cornell University)|Jun 24, 2020

Advanced Image and Video Retrieval Techniques参考文献 32被引用数 12

ひとこと要約

本論文は、背景特徴が画像分類における深層ニューラルネットワーク（DNN）のパフォーマンスにどのように影響するかを調査する。前景コンテンツをマスキングするか、背景をランダムなテクスチャに置き換えることで、著者らは、モデル容量が増大するにつれて、最先端のDNNが正確な予測のため、ますます背景相関に依存するが、同時に背景が変更されても高いパフォーマンスを維持していることから、背景依存性と不変性の間の複雑なトレードオフが生じていることを示している。

ABSTRACT

With increasing expressive power, deep neural networks have significantly improved the state-of-the-art on image classification datasets, such as ImageNet. In this paper, we investigate to what extent the increasing performance of deep neural networks is impacted by background features? In particular, we focus on background invariance, i.e., accuracy unaffected by switching background features and background influence, i.e., predictive power of background features itself when foreground is masked. We perform experiments with 32 different neural networks ranging from small-size networks to large-scale networks trained with up to one Billion images. Our investigations reveal that increasing expressive power of DNNs leads to higher influence of background features, while simultaneously, increases their ability to make the correct prediction when background features are removed or replaced with a randomly selected texture-based background.

研究の動機と目的

• 深層ニューラルネットワークが、正確な画像分類のため、背景特徴にどれほど依存しているかを調査すること。
• モデルの表現力が向上することで、背景相関への依存が強まるかどうかを評価すること。
• DNNが背景不変性（すなわち、背景が入れ替わっても正確性を維持する能力）を達成しているかどうかを評価すること。
• 現在のトレーニングパラダイムが、頑健な意味的表現を学習するのを促進しているのか、それともデータセットバイアスを悪用するのを助長しているのかを検討すること。

提案手法

• ImageNetのテスト画像において前景コンテンツをマスキングし、背景特徴のみを用いてトップ-1およびトップ-5の正確性を評価する。
• 前景コンテンツを保持したまま、元の背景を白、テクスチャベース、ガウスノイズ、一様ノイズなどの人工的背景に置き換える。
• Howardらの小規模アーキテクチャから、最大10億枚の画像でトレーニングされた大規模モデルまで、32種類の多様なDNNを評価する。
• 背景を切り替えた後のパフォーマンス低下を測定することで、背景への依存度と不変性を定量化する。
• 再現性を確保し、ばらつきを低減するために、3回のランダム実行における平均正確性を報告する。
• ImageNet、VOC12、Caltech101の複数のデータセットにおける分析を通じて、結果の一般化能力を評価する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、正しい画像分類予測のため、背景特徴にどれほど依存しているのか？
• RQ2 モデルの表現力が向上することで、ネットワークの背景特徴への依存度はどのように変化するのか？
• RQ3 画像の背景を切り替えるとDNNのパフォーマンスが著しく低下するか？ また、モデル容量が増大するにつれてその低下は減少するか？
• RQ4 前景がマスキングされた場合にDNNが高い正確性を維持できるか？ これは背景相関の強さを示唆する。
• RQ5 現在のトレーニングパラダイムは、背景不変表現を学習するのに十分か？ それとも、データセットバイアスの悪用を助長しているのか？

主な発見

• 前景がマスキングされても、最先端のDNNは背景特徴のみを用いて非自明なトップ-1正確性（例：ResNet-18はImageNetで約50％）を達成しており、背景コンテンツと強い相関があることが示唆される。
• 背景のみの画像におけるトップ-1正確性は、モデルの表現力が向上するにつれて上昇し、より大きなネットワークが背景相関をより効果的に活用していることが実証された。
• 背景を白またはテクスチャベースのものに置き換えると、テスト正確性が著しく低下する—例として、元のImageNet画像では95％だったのに対し、白背景ではVOC12で75％に低下した。
• 背景切り替え後のパフォーマンスギャップは、モデル容量が増大するにつれて減少し、より大きなネットワークが背景の変更に対してより頑健であることが示唆された。
• Caltech101では、元の画像では94％の正確性を示したが、白背景では85％に低下し、テクスチャベースの背景では74％に低下した—これは複数のデータセットで一貫した低下が確認されたことを示している。
• 一部の画像は、より大きなネットワークが背景特徴のみに依存して正しく分類しているが、より小さなネットワークでは失敗している—これは、より深いモデルにおいて背景依存の一般化が顕在化していることを示している。