[論文レビュー] Are Vision Transformers More Data Hungry Than Newborn Visual Systems?

Lalit M. Pandey, Samantha M. W. Wood+1 more|arXiv (Cornell University)|Dec 5, 2023

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本研究では、新生児の視覚系と同等の視覚的経験をもつ最初の視覚的データを用いて、Vision Transformers (ViTs) を学習させることで、ViTs が新生児の視覚系よりもデータを必要とすることが一般的に想定されているという仮定に挑戦している。身体的体験に基づく時間的対照的学習を用いた自己教師あり学習により、ViTs は新生児と同等の視覚不変対象認識性能を達成した。これは、ViTs が生物的現実的で、疎な視覚的経験をもとに学習させた場合、本質的にデータを多く必要としないことを示している。

ABSTRACT

Vision transformers (ViTs) are top performing models on many computer vision benchmarks and can accurately predict human behavior on object recognition tasks. However, researchers question the value of using ViTs as models of biological learning because ViTs are thought to be more data hungry than brains, with ViTs requiring more training data to reach similar levels of performance. To test this assumption, we directly compared the learning abilities of ViTs and animals, by performing parallel controlled rearing experiments on ViTs and newborn chicks. We first raised chicks in impoverished visual environments containing a single object, then simulated the training data available in those environments by building virtual animal chambers in a video game engine. We recorded the first-person images acquired by agents moving through the virtual chambers and used those images to train self supervised ViTs that leverage time as a teaching signal, akin to biological visual systems. When ViTs were trained through the eyes of newborn chicks, the ViTs solved the same view invariant object recognition tasks as the chicks. Thus, ViTs were not more data hungry than newborn visual systems: both learned view invariant object representations in impoverished visual environments. The flexible and generic attention based learning mechanism in ViTs combined with the embodied data streams available to newborn animals appears sufficient to drive the development of animal-like object recognition.

研究の動機と目的

• Vision Transformers (ViTs) が一般的に想定されているように、新生児の視覚系よりもデータを多く必要とするかどうかを検証すること。
• 同じ視覚的学習条件下で、ViTs と新生児の鶏との間の学習性能を直接比較すること。
• 仮想動物の部屋から得られた最初の視覚的データを用いて自己教師あり学習で学習させた ViTs が、鶏に匹敵する視覚不変対象認識を達成できるかどうかを調査すること。
• ViTs に内蔵された注意メカニズムと系列学習機構が、生物学的システムで観察される基本的な視覚的能力を再現するのに十分かどうかを評価すること。
• 一般的な学習メカニズムと身体的体験データの組み合わせが、迅速で柔軟な視覚的学習を促進するのに十分かどうかを検討すること。

提案手法

• 新生児の鶏を、単一の対象しか存在しない貧困な視覚的環境で制御された飼育実験に用い、視覚不変対象認識性能を測定した。
• Unity 3D を用いて、鶏の飼育環境のデジタルツインを構築し、鶏の最初の視覚的経験をシミュレートした。
• シミュレートされた環境内を移動する仮想エージェントから、鶏が得られる視覚データを記録した最初の視覚的画像系列を取得した。
• 時間的側面を用いた対照的学習を用いて、300 ms の時間ウィンドウ内での連続する視点を埋め込み空間内で類似させることで、自己教師あり Vision Transformers を学習させた。
• ViT のバックボーンを凍結し、直前層に線形分類器を接続して、鶏の実験で用いられた同じ刺激でテストした。交差検証評価を用いた。
• 推論時の特徴量の重要性と注目パターンを分析するために、ViT の注目ヘッドからのサリエンシー ヒートマップを用いた。

Figure 1 : Our design had three steps: (1) Run controlled-rearing experiments testing how view-invariant object recognition develops in newborn chicks. (2) Simulate the visual experiences (training data) available to the chicks during the training and test phases, using virtual animal chambers const

実験結果

リサーチクエスチョン

• RQ1 同じ視覚的経験をもとに学習させた場合、Vision Transformers は新生児の視覚系よりもデータを多く必要とするのか？
• RQ2 身体的体験と時間的構造を持つ視覚的経験をもとに学習させた自己教師あり ViTs は、新生児の鶏に匹敵する対象認識性能を達成できるのか？
• RQ3 一般的な注目ベースの学習メカニズムは、事前のインダクティブバイアスなしに、視覚不変対象表現を発展させることに十分なのか？
• RQ4 新生児の動物が得られる視覚的データストリームは、人工系における迅速な学習を支援するのに十分な情報を含んでいるのか？
• RQ5 デジタルツイン実験により、生物学的および人工的学習システム間の直接的かつ公平な比較が可能になるのか？

主な発見

• 仮想の鶏の飼育環境から得た最初の視覚的データをもとに学習させた ViTs は、新生児の鶏と同等の視覚不変対象認識性能を達成した。
• 時間的側面を教える信号として用いた対照的学習により、自己教師あり ViT は、最小限で貧困な視覚的入力からも対象表現を効果的に学習した。
• サリエンシー ヒートマップの結果、ViT の注目ヘッドは関連する対象の特徴に注目しており、生物学的システムで観察された注目パターンと類似していた。
• ViTs が生物学的脳よりもはるかに多くのデータを必要とするという仮定に反し、両者とも同様のデータ分布から効果的に学習できることを示した。
• 本研究では、一般的な注目ベースの学習メカニズムと身体的体験データストリームの組み合わせが、動物に似た対象認識の発達を促進するのに十分であることを示した。
• 研究結果は、一般的な系列学習メカニズムが環境と相互作用することで、ドメイン特異的な視覚的能力を生み出すことができる「単一システム仮説」を支持している。

Figure 2 : (A) View-invariant object recognition task. Newborn chicks and ViTs were trained in an impoverished visual environment (containing one object seen from a single viewpoint range), then tested on their ability to recognize that object across novel views. (B) ViT-CoT leverages the temporal s