[论文解读] Deep Neural Patchworks: Coping with Large Segmentation Tasks

Marco Reisert, Maximilian Frederik Russe+3 more|arXiv (Cornell University)|Jun 7, 2022

Advanced Neural Network Applications被引用 11

一句话总结

本文提出深度神经切片（DNP），一种分层的、基于切片的分割框架，通过使用嵌套的、随机的切片采样并注入全局上下文信息，解决了在大规模2D/3D生物医学图像分割中因内存限制导致的问题。该方法结合自粗到精的注意力机制、几何增强和多尺度特征融合，实现了在不需完整图像内存的情况下对大图像进行高分辨率推理，从而实现鲁棒、上下文感知的分割。

ABSTRACT

Convolutional neural networks are the way to solve arbitrary image segmentation tasks. However, when images are large, memory demands often exceed the available resources, in particular on a common GPU. Especially in biomedical imaging, where 3D images are common, the problems are apparent. A typical approach to solve this limitation is to break the task into smaller subtasks by dividing images into smaller image patches. Another approach, if applicable, is to look at the 2D image sections separately, and to solve the problem in 2D. Often, the loss of global context makes such approaches less effective; important global information might not be present in the current image patch, or the selected 2D image section. Here, we propose Deep Neural Patchworks (DNP), a segmentation framework that is based on hierarchical and nested stacking of patch-based networks that solves the dilemma between global context and memory limitations.

研究动机与目标

• 解决在大规模2D/3D医学图像（尤其是3D体素成像）上训练和推理深度神经网络时面临的内存过载挑战。
• 克服标准基于切片的分割方法在孤立处理小图像切片时丢失全局上下文的问题。
• 仅使用有限的GPU内存，实现对大尺寸医学图像的鲁棒、高分辨率语义分割。
• 通过分层嵌套切片和跨尺度的特征融合，将全局上下文信息整合到小而高分辨率的切片中。
• 开发一种灵活、模块化的医学图像分割框架，支持数据增强、基于注意力的切片选择和多级推理。

提出的方法

• 采用分层切片架构，将固定大小的图像切片（例如32²或32³）在多个尺度上处理，物理尺寸递减但分辨率递增。
• 采用自粗到精的随机切片采样策略：初始大切片捕获全局上下文，随后在有希望的区域递归细化。
• 通过特征融合，将粗粒度层级的全局上下文信息注入细粒度层级的切片中，确保高分辨率预测受全局图像结构的指导。
• 通过切片裁剪中的随机失真，隐式应用几何数据增强（旋转、翻转、拉伸），提升对异常值的鲁棒性。
• 使用基于注意力的剪枝（通过`lazyEval`实现），仅保留每级中最自信的切片，从而在保持精度的同时降低计算负载。
• 通过空间加权（余弦或平方余弦）拼接最终预测结果，并支持多种输出格式（概率图、掩码或类别索引），可选阈值处理。

实验结果

研究问题

• RQ1 基于切片的分割框架是否能在严格限制GPU内存的条件下，同时保持全局上下文信息，处理大规模3D医学图像？
• RQ2 与标准的逐一切片推理相比，分层嵌套切片结合多尺度特征融合在多大程度上提升了分割精度？
• RQ3 具有几何增强的随机切片采样在多大程度上增强了对噪声和异常值的鲁棒性？
• RQ4 在多级水平上采用基于注意力的切片选择，是否能在不牺牲分割质量的前提下降低计算成本？
• RQ5 所提出的框架在仅使用小而固定尺寸切片的情况下，实现全幅覆盖、高分辨率医学体数据分割的效率如何？

主要发现

• DNP框架仅使用小而固定尺寸的切片（例如32³个体素），即可实现对大规模3D医学图像的高分辨率语义分割，显著降低GPU内存使用量。
• 通过注入全局上下文信息的分层切片方法，提升了分割精度，有效保留了远距离区域之间的结构关系，而这些关系在标准切片方法中会丢失。
• 结合几何增强的随机切片采样提升了对噪声和异常值的鲁棒性，框架能有效处理旋转或扭曲的图像模式。
• 使用基于注意力的剪枝（`lazyEval`）在深层减少处理的切片数量，同时保持高性能，显著提升了推理效率。
• 该框架支持灵活的输出格式，包括可配置阈值的掩码和概率图，并支持在NIfTI头文件中命名标签。
• 已用TensorFlow实现的切片工具箱支持NIfTI格式，可实现医学图像分割任务的端到端训练与推理，且内存开销极低。