[论文解读] Deep learning in a bilateral brain with hemispheric specialization

Chandramouli Rajagopalan, David Rawlinson+2 more|arXiv (Cornell University)|Sep 9, 2022

Hemispheric Asymmetry in Neuroscience被引用 4

一句话总结

本文提出一种双边人工神经网络，其中左半球专注于特定特征，右半球专注于一般特征，采用不同的训练目标。通过加权注意力机制融合这些互补表征，在层次化图像分类任务中显著优于单分支和对称基线模型，证明了半球特化可提升性能，并为人工智能系统提供一种生物启发的归纳偏置。

ABSTRACT

The brains of all bilaterally symmetric animals on Earth are divided into left and right hemispheres. The anatomy and functionality of the hemispheres have a large degree of overlap, but there are asymmetries, and they specialise in possesses different attributes. Other authors have used computational models to mimic hemispheric asymmetries with a focus on reproducing human data on semantic and visual processing tasks. We took a different approach and aimed to understand how dual hemispheres in a bilateral architecture interact to perform well in a given task. We propose a bilateral artificial neural network that imitates lateralisation observed in nature: that the left hemisphere specialises in local features and the right in global features. We used different training objectives to achieve the desired specialisation and tested it on an image classification task with two different CNN backbones: ResNet and VGG. Our analysis found that the hemispheres represent complementary features that are exploited by a network head that implements a type of weighted attention. The bilateral architecture outperformed a range of baselines of similar representational capacity that do not exploit differential specialisation, with the exception of a conventional ensemble of unilateral networks trained on dual training objectives for local and global features. The results demonstrate the efficacy of bilateralism, contribute to the discussion of bilateralism in biological brains, and the principle may serve as an inductive bias for new AI systems.

研究动机与目标

• 探究具有专门功能的双半球如何相互补充以提升认知任务中的性能。
• 检验假设：左、右人工神经网络的差异化特化可提升在层次化图像任务中的分类准确率。
• 探索受生物大脑启发的半球特化是否可作为人工智能中一种有用的归纳偏置。
• 为生物与人工系统中的双边性如何支持智能提供可计算测试的机制。

提出的方法

• 模型采用两个ResNet-9卷积神经网络作为左右半球，分别以不同目标进行训练：一个优化特定类别分类，另一个优化一般类别分类。
• 左半球训练用于识别细粒度的特定类别（如企鹅、海豹），右半球则用于更广泛的类别（如海洋生物）。
• 一个共享的可学习全连接层作为加权注意力机制，融合来自两半球的特征以生成最终预测。
• 该架构在包含一般与特定类别标签的层次化图像分类基准上进行评估。
• 性能与多种具有相当表示能力的基线模型进行比较，包括单分支网络和对称双分支模型。
• 对模型内部表征进行分析，以评估各半球提取特征的性质及其互补性。

实验结果

研究问题

• RQ1 具有专门训练目标的左、右半球在层次化图像任务中如何共同提升分类性能？
• RQ2 何种机制使该双边系统优于对称或单分支架构？
• RQ3 左、右半球在多大程度上提取了互补的特征——即特定与一般特征——与生物半球特化一致？
• RQ4 简单的加权注意力机制是否能有效整合来自两条不同神经通路的特化表征？
• RQ5 人工网络中的半球特化是否在超越单个半球明确目标之外，带来性能增益？

主要发现

• 该双边架构在一般和特定图像分类任务中均优于所有可比基线模型，包括单分支和对称双分支模型。
• 左半球专注于提取局部、细粒度特征，右半球则聚焦于非局部、更广泛的上下文模式，证实了功能上的互补性。
• 加权注意力机制有效融合了特化表征，使系统能够同时利用特异性和普遍性以提升准确率。
• 性能增益并非简单的累加，而是源于特化特征之间的相互作用，表明两半球间存在协同效应。
• 结果支持假设：半球特化（左为特异性，右为普遍性）可作为人工神经网络中一种强大的归纳偏置。
• 该模型提出了可测试的神经科学预测，例如不同半球受损时经颅磁刺激（TMS）对性能的差异影响，并提示未来认知建模应考虑双边性。