[論文レビュー] A Developmentally-Inspired Examination of Shape versus Texture Bias in Machines

Alexa R. Tartaglini, Wai Keen Vong+1 more|arXiv (Cornell University)|Feb 16, 2022

Face Recognition and Perception被引用数 10

ひとこと要約

本研究は、子供に対して用いられる発達心理学的実験手法を応用して、深層ニューラルネットワークにおける形状対テクスチャバイアスを再評価した。エコロジカルに妥当な条件下でテストした結果、事前学習済みモデルは、以前の報告とは対照的に、強い形状バイアスを示した。この結果は、以前の結論が刺激設計やテスト手順の方法論的差異に起因する可能性を示しており、人間と機械の間で公準的な比較を行うために、人間の発達的テストに整合したアプローチの重要性を強調している。

ABSTRACT

Early in development, children learn to extend novel category labels to objects with the same shape, a phenomenon known as the shape bias. Inspired by these findings, Geirhos et al. (2019) examined whether deep neural networks show a shape or texture bias by constructing images with conflicting shape and texture cues. They found that convolutional neural networks strongly preferred to classify familiar objects based on texture as opposed to shape, suggesting a texture bias. However, there are a number of differences between how the networks were tested in this study versus how children are typically tested. In this work, we re-examine the inductive biases of neural networks by adapting the stimuli and procedure from Geirhos et al. (2019) to more closely follow the developmental paradigm and test on a wide range of pre-trained neural networks. Across three experiments, we find that deep neural networks exhibit a preference for shape rather than texture when tested under conditions that more closely replicate the developmental procedure.

研究の動機と目的

• 人間が初期の語彙学習段階で示すように、深層ニューラルネットワークが物体分類において形状バイアスかテクスチャバイアスを示すかを調査すること。
• DNNにおいてテクスチャバイアスが報告されているのに対し、発達心理学実験と類似した手順を用いて再テストすることで、過去の報告との乖離を解明すること。
• アーキテクチャ設計、事前学習目的（例：教師あり vs. 自己教師あり）、刺激特性（例：背景テクスチャ、形状の整合性）がDNNにおける形状バイアスの出現に与える影響を検討すること。
• 過去に報告されたDNNにおけるテクスチャバイアスが、刺激設計に起因するアーティファクトであるのか、それともモデル行動における本質的なインダクティブバイアスであるのかを特定すること。

提案手法

• 子供に対して用いられる発達心理学的刺激および手順を応用し、深層ニューラルネットワークにおける形状対テクスチャバイアスをテストした。
• スタイル変換を用いて、1つのカテゴリの形状と別のカテゴリのテクスチャを組み合わせることで、提示的注意を引く刺激（cue-conflict stimuli）を構築し、形状とテクスチャの両方が視覚的に顕著であるようにした。
• CNNおよびビジョントランスフォーマーを含む広範な事前学習済みモデルを、3つの実験条件（適応刺激、新規刺激、背景テクスチャが異なる刺激）でテストした。
• 三つ組ベースのテスト形式を採用し、モデルが形状一致とテクスチャ一致の間で選択するようにし、バイアスは形状ベースの応答の割合として算出した。
• 刺激条件を変化させることで、背景テクスチャ、形状の整合性、物体のなじみやすさがモデル行動に与える影響を分離した。
• 言語またはラベルベースの事前学習を施したモデルと施さないモデルを比較し、教師あり学習がインダクティブバイアスの形成に果たす役割を評価した。

実験結果

リサーチクエスチョン

• RQ1 人間の発達的実験に類似した条件でテストされた場合、深層ニューラルネットワークは形状バイアスを示すのか？
• RQ2 過去の研究ではDNNに強いテクスチャバイアスが報告されているが、本研究では類似したテスト手順において強固な形状バイアスが観察された。その理由は何か？
• RQ3 アーキテクチャの違い（例：CNN対ビジョントランスフォーマー）および事前学習目的（例：教師あり対自己教師あり）は、DNNにおける形状バイアスの強度にどのように影響するか？
• RQ4 背景テクスチャは、提示的注意の衝突を示す刺激においてDNNの分類行動にどの程度影響を与えるのか？また、人間の知覚と比べてどう異なるか？
• RQ5 なぜモデルは人間よりも形状バイアスの変動が大きいのか？これは、人工知覚と人間知覚におけるインダクティブバイアスの性質に何を示唆するのか？

主な発見

• クリアな背景と整合性のある形状の刺激を用いた発達的テスト手順で、ほとんどの事前学習済み深層ニューラルネットワークが強い形状バイアスを示した。これは、以前のテクスチャバイアスの報告とは対照的である。
• クラスラベルを用いたImageNetで事前学習したモデルは、ランダム初期化されたモデルと比較して、形状バイアスが顕著に強く、教師あり事前学習が形状バイアスの強化に寄与している可能性を示唆している。
• 新規の刺激でテストした場合や、背景テクスチャを著しく強調した場合、モデルの形状バイアスは低下した。これは、刺激の文脈がバイアスの現れ方に顕著に影響することを示している。
• 言語やラベルの入力がなかったにもかかわらず、自己教師ありモデルは特定の条件下で依然として強固な形状バイアスを示した。これは、形状バイアスの出現に言語的入力が必要であるという仮定に疑問を呈する。
• 過去の研究で観察されたテクスチャバイアスの度合いは、特に顕著な背景テクスチャの存在に起因する刺激設計のアーティファクトであることが判明した。これは、DNNに本質的なインダクティブバイアスがあるわけではない。
• テスト手順の方法論的差異が、モデルアーキテクチャの違いよりも顕著に観察バイアスを変える可能性があることが示された。これは、種間公平な評価プロトコルの必要性を強調している。