[论文解读] A Dual-Stream Neural Network Explains the Functional Segregation of Dorsal and Ventral Visual Pathways in Human Brains

Minkyu Choi, Kuan Han+3 more|arXiv (Cornell University)|Oct 20, 2023

Visual perception and processing mechanisms被引用 6

一句话总结

本文提出了一种受大脑启发的双流神经网络，通过分别采用视网膜采样和不同的学习目标（背侧流侧重空间注意，腹侧流侧重物体识别），模拟人类背侧（where）和腹侧（what）视觉通路。该模型通过注意力驱动的眼动和双流之间的循环交互，实现了与人类大脑反应更优的功能对齐，表明功能分离主要源于不同的目标，而非视网膜输入的差异。

ABSTRACT

The human visual system uses two parallel pathways for spatial processing and object recognition. In contrast, computer vision systems tend to use a single feedforward pathway, rendering them less robust, adaptive, or efficient than human vision. To bridge this gap, we developed a dual-stream vision model inspired by the human eyes and brain. At the input level, the model samples two complementary visual patterns to mimic how the human eyes use magnocellular and parvocellular retinal ganglion cells to separate retinal inputs to the brain. At the backend, the model processes the separate input patterns through two branches of convolutional neural networks (CNN) to mimic how the human brain uses the dorsal and ventral cortical pathways for parallel visual processing. The first branch (WhereCNN) samples a global view to learn spatial attention and control eye movements. The second branch (WhatCNN) samples a local view to represent the object around the fixation. Over time, the two branches interact recurrently to build a scene representation from moving fixations. We compared this model with the human brains processing the same movie and evaluated their functional alignment by linear transformation. The WhereCNN and WhatCNN branches were found to differentially match the dorsal and ventral pathways of the visual cortex, respectively, primarily due to their different learning objectives. These model-based results lead us to speculate that the distinct responses and representations of the ventral and dorsal streams are more influenced by their distinct goals in visual attention and object recognition than by their specific bias or selectivity in retinal inputs. This dual-stream model takes a further step in brain-inspired computer vision, enabling parallel neural networks to actively explore and understand the visual surroundings.

研究动机与目标

• 通过建模大脑的双流视觉处理架构，弥合人类视觉与计算机视觉之间的差距。
• 探究背侧与腹侧视觉通路的功能分离是否源于不同的学习目标，而非视网膜输入采样差异。
• 通过模拟主动的、注意力驱动的视觉探索，提升计算机视觉系统的鲁棒性与适应性。
• 评估注意力驱动的眼动如何提升神经网络模型在人类视觉处理中的编码性能。

提出的方法

• 该模型采用两种互补的视网膜采样模式——背侧流使用宽/粗采样，腹侧流使用窄/精细采样，模拟大细胞与小细胞通路。
• WhereCNN通过空间注意处理全局视图，预测显著性并引导注视位置。
• WhatCNN处理注视点周围的局部视图，随时间逐步构建物体表征并重建场景级理解。
• 两条通路通过顺序注视实现循环交互，支持动态场景表征。
• 通过线性变换评估模型预测与背侧和腹侧视觉区域大脑反应之间在功能上的对齐程度。
• 将模型性能与单流网络（如AlexNet、ResNet）及随机注视基线进行对比，以隔离注意力机制与双流设计的影响。

实验结果

研究问题

• RQ1 人类视觉系统中的功能分离是否主要源于不同的学习目标，而非视网膜输入采样差异？
• RQ2 注意力驱动的眼动在多大程度上提升了模型预测人类大脑反应的能力？
• RQ3 与单流模型相比，双流架构在预测背侧和腹侧视觉皮层区域反应方面表现如何？
• RQ4 通路间的循环交互是否能增强场景表征并提升与大脑的功能对齐？

主要发现

• WhereCNN与WhatCNN分别在背侧和腹侧视觉通路中表现出差异化的功能对齐，主要归因于其不同的学习目标，而非视网膜采样差异。
• 该模型的编码性能优于AlexNet等单流网络，且与ResNet18和ResNet34等更深模型性能相当。
• 注意力驱动的注视显著提升了大多数视觉皮层区域的预测准确率，两条通路在暖色voxel中均表现出更高的编码性能（Δr > 0）。
• 与随机注视相比，使用学习到的注视点能更准确地预测大脑反应，尤其在背侧和腹侧流区域表现更优。
• 双流模型优于孤立的单流模型，表明交互式、并行处理能增强与人类大脑的功能对齐。
• 结果表明，人类大脑中背侧-腹侧的功能分离更多受认知目标差异（空间注意 vs. 物体识别）的影响，而非感觉输入偏差。