[论文解读] Brain-Like Object Recognition with High-Performing Shallow Recurrent ANNs

Jonas Kubilius, Martin Schrimpf+12 more|arXiv (Cornell University)|Sep 13, 2019

Domain Adaptation and Few-Shot Learning参考文献 47被引用 128

一句话总结

简而言之：该论文提出 CORnet-S，这是一个对 ventral 流解剖结构对齐的浅层四区域递归人工神经网络，在模型中达到 Brain-Score 的领先地位并保持对 ImageNet 的强劲表现。

ABSTRACT

Deep convolutional artificial neural networks (ANNs) are the leading class of candidate models of the mechanisms of visual processing in the primate ventral stream. While initially inspired by brain anatomy, over the past years, these ANNs have evolved from a simple eight-layer architecture in AlexNet to extremely deep and branching architectures, demonstrating increasingly better object categorization performance, yet bringing into question how brain-like they still are. In particular, typical deep models from the machine learning community are often hard to map onto the brain's anatomy due to their vast number of layers and missing biologically-important connections, such as recurrence. Here we demonstrate that better anatomical alignment to the brain and high performance on machine learning as well as neuroscience measures do not have to be in contradiction. We developed CORnet-S, a shallow ANN with four anatomically mapped areas and recurrent connectivity, guided by Brain-Score, a new large-scale composite of neural and behavioral benchmarks for quantifying the functional fidelity of models of the primate ventral visual stream. Despite being significantly shallower than most models, CORnet-S is the top model on Brain-Score and outperforms similarly compact models on ImageNet. Moreover, our extensive analyses of CORnet-S circuitry variants reveal that recurrence is the main predictive factor of both Brain-Score and ImageNet top-1 performance. Finally, we report that the temporal evolution of the CORnet-S "IT" neural population resembles the actual monkey IT population dynamics. Taken together, these results establish CORnet-S, a compact, recurrent ANN, as the current best model of the primate ventral visual stream.

研究动机与目标

• 旨在推动构建在解剖学可行性与高识别性能之间取得平衡的脑启发型 ANN。
• 提出 CORnet-S，一种映射到 V1、V2、V4 与 IT 的四区域递归模型，以在 Brain-Score 下测试脑部相似性。
• 证明递归性（而非深度）驱动脑部相似性与性能。
• 在 ImageNet 与迁移任务中评估 CORnet-S 以评估泛化能力。
• 量化 CORnet-S 如何捕捉灵长类脑的神经动力学与行为模式。

提出的方法

• 将 CORnet-S 定义为具有四个解剖学映射区域（V1、V2、V4、IT）和一个线性类别解码器。
• 通过将各区域的输出反馈给自身一定步数来实现递归（例如 V2 COR 与 IT COR 各两次，V4 COR 四次）。
• 使用浅层卷积块，区内电路固定且时间上非共享批归一化。
• 在 ImageNet 2012 上使用 SGD 动量训练，43 轮，批量大小 256，学习率计划（0.1 然后每 20 轮除以 10）。
• 通过 Brain-Score 评估脑部相似性，包括 V4/IT 的神经预测性、行为预测性，以及 monkey IT 的神经动力学（OST）。
• 将 CORnet-S 与广泛的模型（AlexNet、VGG、ResNet、Inception、NASNet 等）进行比较，使用 Brain-Score 与 ImageNet。
• 通过仅重新训练线性分类器将泛化推广到 CIFAR-100；在新数据集上评估神经与行为基准。

实验结果

研究问题

• RQ1 紧凑且解剖对齐的递归 ANN 是否能够在保持对 ImageNet 的强劲性能的同时达到最先进的脑部相似性（Brain-Score）？
• RQ2 哪些架构因素（递归、瓶颈宽度、跳连结构）对 Brain-Score 与物体识别性能影响最大？
• RQ3 CORnet-S 是否能够捕捉与实际神经反应轨迹相似的灵长类 IT 的时间维度神经动力学？
• RQ4 脑部相似性与在 CIFAR-100 上的迁移性能及对新神经/行为数据集的泛化之间存在何种关系？

主要发现

• CORnet-S 在受测模型中达到最高 Brain-Score（.471），且仍然是一个浅层架构。
• CORnet-S 在 Brain-Score 最大值所在轮次达到 73.1% 的 top-1 ImageNet 准确率，并且在浅层模型中对 CIFAR-100 的迁移表现最好。
• CORnet-S 的递归性是对 Brain-Score 与 ImageNet top-1 性能的主要预测因子。
• 模型的 IT 神经动力学（对象解决时间）与猴子 IT 的时间顺序相关，表明表示随时间演变。
• Brain-Score 泛化分析表明 CORnet-S 在新主体和新数据集上都排名靠前，提示其脑部相似性具有鲁棒性，超出原始数据集。