[论文解读] Deep Connectomics Networks: Neural Network Architectures Inspired by Neuronal Networks

Nicholas J. Roberts, Dian Ang Yap+1 more|arXiv (Cornell University)|Dec 18, 2019

Neural dynamics and brain function被引用 8

一句话总结

本文提出了深度连接组学网络（DCNs），一种新颖的深度学习架构，其神经网络拓扑结构直接源自生物神经元网络——具体为秀丽隐杆线虫（C. elegans）和小鼠视觉皮层的连接组。通过将现实世界中的连接组转化为有向无环图（DAG），并将其整合进卷积神经网络（CNN）框架，DCNs在图像分类基准测试中实现了最先进性能，优于无图基线模型和标准的小世界（Watts-Strogatz）拓扑结构，即使在图参数冻结的情况下也表现更优，证明了生物拓扑结构在神经网络设计中的内在价值。

ABSTRACT

The interplay between inter-neuronal network topology and cognition has been studied deeply by connectomics researchers and network scientists, which is crucial towards understanding the remarkable efficacy of biological neural networks. Curiously, the deep learning revolution that revived neural networks has not paid much attention to topological aspects. The architectures of deep neural networks (DNNs) do not resemble their biological counterparts in the topological sense. We bridge this gap by presenting initial results of Deep Connectomics Networks (DCNs) as DNNs with topologies inspired by real-world neuronal networks. We show high classification accuracy obtained by DCNs whose architecture was inspired by the biological neuronal networks of C. Elegans and the mouse visual cortex.

研究动机与目标

• 探究受真实生物神经网络拓扑结构启发的深度神经网络架构是否能在图像分类任务中提升性能。
• 解决当前深度学习中架构设计普遍忽视连接组学拓扑原理的问题，尽管这些原理具有生物学相关性。
• 评估真实神经网络的拓扑结构（如小世界特性）是否能独立于参数数量对模型性能产生贡献。
• 证明基于连接组衍生图作为核心布线模式的DCNs在深度学习框架中的可训练性和有效性。
• 在标准视觉基准上，将基于真实连接组（秀丽隐杆线虫、小鼠视觉皮层）的DCNs与合成小世界模型（Watts-Strogatz）及无图基线模型进行比较。

提出的方法

• 通过随机顶点索引将秀丽隐杆线虫和小鼠视觉皮层的连接组转换为有向无环图（DAG），确保部分序关系。
• 引入源节点和汇节点以实现单一输入和单一输出的流，其中源节点向输入节点广播信号，汇节点计算输出的无权重平均值。
• 设计了一种改进的“RandWire”风格架构，包含一个初始的2D卷积层，随后是一个基于连接组拓扑的单一“随机连接”模块，采用3x3可分离卷积、ReLU激活函数和批量归一化。
• 采用标准训练协议：50个周期，使用Adam优化器（初始初始学习率0.001），批量大小为32，学习率采用余弦衰减，同时评估图参数冻结与可训练两种情况。
• 在MNIST、Fashion-MNIST和KMNIST上评估模型性能，比较无图CNN、Watts-Strogatz（WS）图和基于连接组的DCNs的表现。
• 使用平均路径长度、聚类系数、模块度和直径等图论指标，表征实验中所用连接组的拓扑特性。

实验结果

研究问题

• RQ1 基于真实生物神经网络（连接组）拓扑结构的深度神经网络是否能在图像分类任务中表现优于标准架构？
• RQ2 真实神经网络的拓扑结构（如小世界特性）是否能独立于参数数量对模型性能产生贡献？
• RQ3 基于秀丽隐杆线虫和小鼠视觉皮层连接组的DCNs与合成小世界模型（如Watts-Strogatz）相比，在准确率和泛化能力方面表现如何？
• RQ4 当图参数被冻结时，基于连接组的拓扑结构是否仍能保持性能提升，表明仅拓扑结构本身即可驱动性能改进？
• RQ5 DCNs是否能在不同数据集（包括MNIST、KMNIST和Fashion-MNIST）上实现一致的竞争力表现，展现良好的泛化能力？

主要发现

• 当训练图参数时，基于小鼠视觉皮层的DCN在MNIST上的验证准确率达到99.30%，优于无图基线CNN（98.01%）和可训练的WS模型（99.27%）。
• 即使图参数被冻结（控制参数数量），基于小鼠视觉皮层的DCN仍达到98.24%的准确率，高于基线模型（98.01%），证明仅拓扑结构本身即可对性能产生贡献。
• 基于秀丽隐杆线虫的DCN在MNIST上的平均测试准确率为99%，在KMNIST上为93%，在Fashion-MNIST上为90%（基于10次训练试验），展现出在不同数据集间的强大泛化能力。
• 冻结的WS模型表现劣于基线模型（97.05% vs. 98.01%），表明并非所有小世界拓扑都同样有效，真实连接组结构可能提供更优越的归纳偏置。
• 即使在参数数量相同（冻结状态下），基于小鼠视觉皮层拓扑的DCN仍优于WS模型，证实真实生物网络的特定拓扑结构可增强学习能力。
• 结果表明，真实连接组的谱特性和结构特性（如模块度和聚类）可能为深度学习架构提供比合成小世界模型更有效的归纳偏置。