[論文レビュー] Exploring the Origins and Prevalence of Texture Bias in Convolutional Neural Networks.

Katherine L. Hermann, Simon Kornblith|arXiv (Cornell University)|Nov 20, 2019

Adversarial Robustness in Machine Learning参考文献 28被引用数 14

ひとこと要約

この論文は、ImageNetで訓練されたCNNが、形状に基づく分類を学習できるにもかかわらず、テクスチャに基づいて分類する強いバイアスを示す理由を調査している。データ拡張、特に自然的で攻撃的でない訓練用拡張が、テクスチャバイアスを著しく低減し、モデルが大部分の時間、形状に基づいて分類できるようにするとともに、分布外一般化性能を向上させることを発見した。

ABSTRACT

Recent work has indicated that, unlike humans, ImageNet-trained CNNs tend to classify images by texture rather than by shape. How pervasive is this bias, and where does it come from? We find that, when trained on datasets of images with conflicting shape and texture, CNNs learn to classify by shape at least as easily as by texture. What factors, then, produce the texture bias in CNNs trained on ImageNet? Different unsupervised training objectives and different architectures have small but significant and largely independent effects on the level of texture bias. However, all objectives and architectures still lead to models that make texture-based classification decisions a majority of the time, even if shape information is decodable from their hidden representations. The effect of data augmentation is much larger. By taking less aggressive random crops at training time and applying simple, naturalistic augmentation (color distortion, noise, and blur), we train models that classify ambiguous images by shape a majority of the time, and outperform baselines on out-of-distribution test sets. Our results indicate that apparent differences in the way humans and ImageNet-trained CNNs process images may arise not primarily from differences in their internal workings, but from differences in the data that they see.

研究の動機と目的

• ImageNetで訓練されたCNNが示すテクスチャバイアスの根本的要因を調査すること。これは、人間の視覚認識が形状に依存するのとは対照的である。
• CNNが形状ベースの分類を学習できない本質的限界があるのか、それともバイアスが訓練データや手順に起因するのかを特定すること。
• さまざまな訓練目的、ネットワークアーキテクチャ、データ拡張戦略がテクスチャバイアスに与える相対的影響を評価すること。
• モデルがテクスチャベースの予測を行う場合でも、隠れ表現に形状情報が依然として保持されているかどうかを確認すること。
• 効果的なデータ拡張によるテクスチャバイアスの低減を通じて、分布外一般化性能を向上させること。

提案手法

• 形状とテクスチャの両方が矛盾するデータセットでCNNを訓練し、形状ベースの分類を学習できるかを評価した。
• テクスチャバイアスに与える独立的な影響を測定するために、複数の非教師あり訓練目的とネットワークアーキテクチャを評価した。
• より攻撃的でないランダムクロップ、色の変更、ノイズ、ぼかしなどのさまざまなデータ拡張戦略を適用した。
• 曖昧な形状-テクスチャ画像における予測のうち、テクスチャに基づく割合を測定することで、テクスチャバイアスを定量化した。
• 分布外テストセットでのモデル性能を評価し、一般化性能の向上を確認した。
• テクスチャベースの予測を行うモデルの隠れ表現を分析し、形状情報がまだ復号可能かどうかを確認した。

実験結果

リサーチクエスチョン

• RQ1 形状とテクスチャの両方が矛盾するデータで訓練されたCNNは、どの程度形状に基づいて分類を学習できるか？
• RQ2 さまざまな非教師あり訓練目的とネットワークアーキテクチャは、CNNにおけるテクスチャバイアスの程度にどのように影響するか？
• RQ3 アーキテクチャや目的の選択と比較して、データ拡張がテクスチャバイアスを低減する影響はどの程度か？
• RQ4 テクスチャベースの予測を行うモデルの隠れ表現に、形状情報が依然として存在するか？
• RQ5 効果的なデータ拡張によるテクスチャバイアスの低減は、分布外画像認識タスクにおける一般化性能の向上に寄与するか？

主な発見

• 形状とテクスチャが矛盾するデータで訓練されたCNNは、テクスチャに基づく分類と同程度、形状に基づいて分類できる。これは、形状ベースの学習と相性が悪いという本質的問題は存在しないことを示している。
• 異なる非教師あり目的やアーキテクチャは、テクスチャバイアスにわずかだが独立的かつ統計的に有意な影響を与えるが、いずれもバイアスを完全に排除することはできない。
• 攻撃的なデータ拡張、特にランダムクロップはテクスチャバイアスを強く促進するが、より攻撃的でないクロップはバイアスを低減する。
• 自然的拡張（色の変更、ノイズ、ぼかし）を適用することで、曖昧な画像を大部分の時間、形状に基づいて分類するモデルが得られた。
• 効果的なデータ拡張で訓練されたモデルは、ベースラインよりも分布外テストセットで優れた性能を示し、一般化性能の向上が確認された。
• テクスチャベースの予測を行うにもかかわらず、これらのモデルの隠れ表現にはまだ復号可能な形状情報が存在しており、バイアスは特徴の損失によるものではないことが示唆された。