[论文解读] MarmoNet: a pipeline for automated projection mapping of the common marmoset brain from whole-brain serial two-photon tomography

Henrik Skibbe, Akiya Watakabe+11 more|arXiv (Cornell University)|Aug 2, 2019

Cell Image Analysis Techniques参考文献 12被引用 14

一句话总结

MarmoNet 是一种基于 U-Net 的卷积神经网络与图像配准相结合的深度学习流程，用于自动化处理常见狨猴全脑连续双光子断层扫描数据中的轴突示踪信号分割与投影映射。该方法可实现高精度、全自动检测复杂且噪声较大的脑组织中的稀疏与密集轴突投射，显著提升了灵长类脑科学研究中连接组映射的效率与可重复性。

ABSTRACT

Understanding the connectivity in the brain is an important prerequisite for understanding how the brain processes information. In the Brain/MINDS project, a connectivity study on marmoset brains uses two-photon microscopy fluorescence images of axonal projections to collect the neuron connectivity from defined brain regions at the mesoscopic scale. The processing of the images requires the detection and segmentation of the axonal tracer signal. The objective is to detect as much tracer signal as possible while not misclassifying other background structures as the signal. This can be challenging because of imaging noise, a cluttered image background, distortions or varying image contrast cause problems. We are developing MarmoNet, a pipeline that processes and analyzes tracer image data of the common marmoset brain. The pipeline incorporates state-of-the-art machine learning techniques based on artificial convolutional neural networks (CNN) and image registration techniques to extract and map all relevant information in a robust manner. The pipeline processes new images in a fully automated way. This report introduces the current state of the tracer signal analysis part of the pipeline.

研究动机与目标

• 解决在高分辨率、噪声较大的狨猴脑双光子显微镜图像中手动分割轴突示踪信号的挑战。
• 开发一种全自动化流程，能够在不同对比度、强度和结构复杂度的脑组织中稳健检测轴突投射。
• 提升狨猴脑大规模神经连接组映射的可扩展性与可重复性，服务于 Brain/MINDS 项目。
• 减少在处理大量连续双光子断层扫描数据（来自逆行示踪实验）时的人工错误与时间消耗。

提出的方法

• 该流程采用编码器-解码器结构的 U-Net 架构，对双光子荧光图像中的轴突示踪信号实现端到端分割。
• 输入图像以 572×572×n 像素的图像块形式处理，其中 n=1 用于细胞体检测，n=2 用于示踪信号分割（R 和 G 通道）。
• 网络在编码器路径中使用重复的 3×3 卷积层与 ReLU 激活函数，结合 2×2 最大池化操作；在解码器路径中采用转置卷积（反卷积）与跳跃连接。
• 从编码器到解码器的跳跃连接有助于保留空间分辨率，提升分割轴突结构的定位精度。
• 采用数据增强技术，包括旋转、伽马校正、非线性空间形变与全局缩放，以增加训练集多样性并减少过拟合。
• 使用加权逻辑回归损失函数进行网络优化，并引入批量归一化与 Dropout 层以稳定训练过程并提升泛化能力。

实验结果

研究问题

• RQ1 基于深度学习的流程是否能在多种成像条件下，对复杂且噪声较大的狨猴脑组织中的轴突示踪信号实现稳健且全自动的分割？
• RQ2 在 U-Net 架构中引入跳跃连接与多尺度特征学习，相较于传统启发式方法，能否显著提升轴突投射映射的精度？
• RQ3 在训练数据有限且信号形态高度多变的生物医学图像数据上，数据增强在多大程度上能提升模型的泛化能力？
• RQ4 该流程是否能通过滑动窗口推理策略高效处理大规模全脑连续双光子断层扫描图像？

主要发现

• 基于 U-Net 的 MarmoNet 流程在多种形态模式下均实现了高精度的轴突示踪信号分割，包括稀疏、细长的轴突以及密集、团块状的纤维束。
• 跳跃连接与多尺度特征学习的结合，使模型即使在信噪比较低的区域也能实现轴突投射的精确空间定位。
• 数据增强显著提升了模型的泛化能力，即使在训练数据有限且图像外观差异较大的情况下，也能有效减少过拟合。
• 该流程通过滑动窗口推理策略实现了全脑图像堆栈的全自动处理，使大规模连接组学研究成为可能。
• 该方法优于依赖边缘增强或形态学滤波的传统启发式方法，后者在对比度变化大且背景结构复杂时表现不佳。