[论文解读] Are Vision Transformers More Data Hungry Than Newborn Visual Systems?

Lalit M. Pandey, Samantha M. W. Wood+1 more|arXiv (Cornell University)|Dec 5, 2023

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

本研究通过在受控饲养实验中收集的新生小鸡第一人称视觉数据训练视觉变换器（ViTs），挑战了ViTs比新生视觉系统更依赖数据量的假设。通过在具身数据上使用时间对比目标的自监督学习，ViTs实现了与小鸡相当的视角不变物体识别性能，表明当在生物上合理的稀疏视觉体验上训练时，ViTs并非本质上更依赖数据量。

ABSTRACT

Vision transformers (ViTs) are top performing models on many computer vision benchmarks and can accurately predict human behavior on object recognition tasks. However, researchers question the value of using ViTs as models of biological learning because ViTs are thought to be more data hungry than brains, with ViTs requiring more training data to reach similar levels of performance. To test this assumption, we directly compared the learning abilities of ViTs and animals, by performing parallel controlled rearing experiments on ViTs and newborn chicks. We first raised chicks in impoverished visual environments containing a single object, then simulated the training data available in those environments by building virtual animal chambers in a video game engine. We recorded the first-person images acquired by agents moving through the virtual chambers and used those images to train self supervised ViTs that leverage time as a teaching signal, akin to biological visual systems. When ViTs were trained through the eyes of newborn chicks, the ViTs solved the same view invariant object recognition tasks as the chicks. Thus, ViTs were not more data hungry than newborn visual systems: both learned view invariant object representations in impoverished visual environments. The flexible and generic attention based learning mechanism in ViTs combined with the embodied data streams available to newborn animals appears sufficient to drive the development of animal-like object recognition.

研究动机与目标

• 检验视觉变换器（ViTs）是否如普遍假设的那样比新生视觉系统更依赖数据量。
• 在相同的视觉训练条件下，直接比较ViTs与新生小鸡的学习性能。
• 探究在虚拟动物舱室中采集的第一人称视觉数据上训练的自监督ViTs，是否能实现与小鸡相当的视角不变物体识别能力。
• 评估ViTs中基于注意力的序列学习机制是否足以复制生物系统中观察到的核心视觉能力。
• 探索通用学习机制与具身数据相结合，是否足以驱动快速、灵活的视觉学习。

提出的方法

• 在仅包含单一物体的贫乏视觉环境中，对新生小鸡开展受控饲养实验，测量其视角不变物体识别性能。
• 使用Unity 3D构建了小鸡饲养舱室的数字孪生模型，以模拟小鸡的第一人称视觉体验。
• 从在模拟舱室中移动的虚拟代理记录第一人称图像序列，捕捉小鸡可获取的视觉数据。
• 使用时间上的对比学习训练自监督视觉变换器，使300毫秒窗口内连续视图在嵌入空间中更加相似。
• 冻结ViT主干网络，并在倒数第二层附加一个线性分类器，使用交叉验证评估方法，在与小鸡实验相同的刺激上进行测试。
• 利用ViT注意力头的显著性热图分析推理过程中特征重要性和注意力模式。

Figure 1 : Our design had three steps: (1) Run controlled-rearing experiments testing how view-invariant object recognition develops in newborn chicks. (2) Simulate the visual experiences (training data) available to the chicks during the training and test phases, using virtual animal chambers const

实验结果

研究问题

• RQ1 当在相同视觉体验上训练时，视觉变换器是否比新生视觉系统更依赖数据量？
• RQ2 在具身且时间结构化的视觉数据上训练的自监督ViTs，是否能达到与新生小鸡相当的物体识别性能？
• RQ3 一种通用的、基于注意力的学习机制是否足以在不依赖先验归纳偏置的情况下，发展出视角不变的物体表征？
• RQ4 新生动物可获取的视觉数据流是否包含足够信息，以支持人工系统实现快速学习？
• RQ5 数字孪生实验是否能够实现生物系统与人工系统之间直接、公平的比较？

主要发现

• 在虚拟小鸡饲养舱室的第一人称视觉数据上训练的ViTs，实现了与新生小鸡相当的视角不变物体识别性能。
• 通过时间作为教学信号的自监督ViT，成功地从极少且贫乏的视觉输入中学习到了物体表征。
• 显著性热图显示，ViT注意力头聚焦于相关物体特征，其注意力模式与生物系统观察到的相一致。
• 研究结果挑战了ViTs比生物大脑需要更多数据的假设，表明两类系统都能从相似的数据分布中有效学习。
• 本研究证明，通用的、基于注意力的学习机制与具身数据流相结合，足以驱动类动物物体识别能力的发展。
• 研究结果支持一种‘单一系统’假说，即通用的序列学习机制可通过与环境的交互，产生特定领域的视觉能力。

Figure 2 : (A) View-invariant object recognition task. Newborn chicks and ViTs were trained in an impoverished visual environment (containing one object seen from a single viewpoint range), then tested on their ability to recognize that object across novel views. (B) ViT-CoT leverages the temporal s