[论文解读] Controlled-rearing studies of newborn chicks and deep neural networks

Donsuk Lee, Pranav Gujarathi+1 more|arXiv (Cornell University)|Dec 12, 2021

Primate Behavior and EcologyPsychology被引用 19

一句话总结

本研究通过并行的受控饲养实验，直接比较了新生小鸡与深度卷积神经网络（CNNs）在视觉学习方面的表现。通过使用视频游戏引擎从一只小鸡的视角生成训练数据，模拟两者相同的视觉环境，研究发现，CNNs 在与小鸡相同的稀疏数据条件下实现了视角不变的对象识别，挑战了CNNs天性‘数据饥渴’的观点。

ABSTRACT

Convolutional neural networks (CNNs) can now achieve human-level performance on challenging object recognition tasks. CNNs are also the leading quantitative models in terms of predicting neural and behavioral responses in visual recognition tasks. However, there is a widely accepted critique of CNN models: unlike newborn animals, which learn rapidly and efficiently, CNNs are thought to be "data hungry," requiring massive amounts of training data to develop accurate models for object recognition. This critique challenges the promise of using CNNs as models of visual development. Here, we directly examined whether CNNs are more data hungry than newborn animals by performing parallel controlled-rearing experiments on newborn chicks and CNNs. We raised newborn chicks in strictly controlled visual environments, then simulated the training data available in that environment by constructing a virtual animal chamber in a video game engine. We recorded the visual images acquired by an agent moving through the virtual chamber and used those images to train CNNs. When CNNs received similar visual training data as chicks, the CNNs successfully solved the same challenging view-invariant object recognition tasks as the chicks. Thus, the CNNs were not more data hungry than animals: both CNNs and chicks successfully developed robust object models from training data of a single object.

研究动机与目标

• 测试深度卷积神经网络（CNNs）是否真的相比新生动物‘数据饥渴’，特别是在视角不变的对象识别方面。
• 研究当在相同有限的视觉输入下训练时，CNNs 是否能实现与新生小鸡相当的学习效率。
• 利用视频游戏引擎开发一个模拟小鸡视觉体验的计算模型，以生成CNNs的真实世界训练数据。
• 通过对齐训练数据和测试协议，实现生物与人工视觉系统之间的直接、公平比较。
• 评估CNNs是否可作为早期视觉发育的神经机制性、图像可计算模型。

提出的方法

• 在虚拟环境中对新生小鸡进行受控饲养实验，仅呈现单一物体，测量其在视角不变对象识别任务中的表现。
• 使用视频游戏引擎构建一个虚拟动物舱，模拟小鸡的视觉环境，并记录移动代理的第一人称视觉轨迹。
• 从代理在虚拟舱室中的移动中收集并处理原始视觉图像，以构建CNNs的训练数据集。
• 在模拟的训练数据上对监督和无监督CNNs进行训练，使用数据增强技术以增加有效样本量。
• 使用线性判别分析（LDA）可视化特征表示，并评估不同模型之间的表征相似性。
• 对小鸡和CNNs在相同的对象识别任务上进行测试，以实现学习表现和泛化能力的直接比较。

实验结果

研究问题

• RQ1 当在与新生小鸡实现快速学习所用的相同最小视觉数据下训练时，深度卷积神经网络（CNNs）能否实现视角不变的对象识别？
• RQ2 从单一物体环境获得的视觉训练数据在数量和质量上，与新生小鸡和CNNs在学习效率方面的对比如何？
• RQ3 CNNs在多大程度上复现了新生小鸡在早期视觉发育过程中观察到的表征和行为结果？
• RQ4 数据增强和主动探索在降低生物与人工视觉系统数据需求方面起到何种作用？
• RQ5 当在类似真实世界的感觉输入下训练时，CNNs能否作为有效的、具有神经机制性的动物早期视觉发育模型？

主要发现

• 在与新生小鸡相同的受控饲养环境中，通过虚拟代理移动所收集的视觉数据训练的CNNs，成功解决了相同的视角不变对象识别任务。
• 小鸡和CNNs在仅接触单一物体后，均发展出稳健的、视角不变的对象表征，表明其学习效率相当。
• 通过数据增强，CNNs的有效训练图像数量显著增加，使其数据负荷与新生小鸡相当——小鸡在24小时内可获得约864,000个训练样本。
• 表征差异矩阵（RDMs）显示，CNNs发展出的特征表征在结构上与生物系统中观察到的结果相似。
• 本研究挑战了CNNs天性‘数据饥渴’的普遍观点，表明在训练数据对齐的情况下，CNNs的性能与新生动物相当。
• 结果支持将CNNs作为图像可计算、具有神经机制性的早期视觉发育模型，为检验和证伪发育理论提供了框架。