[论文解读] A skeletonization algorithm for gradient-based optimization

Martin J. Menten, Johannes C. Paetzold+7 more|arXiv (Cornell University)|Sep 5, 2023

Medical Image Segmentation TechniquesComputer Science被引用 3

一句话总结

本文提出了首个与基于梯度的优化兼容的3D拓扑保持骨架化算法，采用可微操作（如卷积、矩阵运算和随机采样）。相较于不可微和基于神经网络的基线方法，该方法在拓扑和几何精度方面表现更优，可无缝集成至深度学习流水线，用于医学图像分析任务（如血管分割和多模态配准）。

ABSTRACT

The skeleton of a digital image is a compact representation of its topology, geometry, and scale. It has utility in many computer vision applications, such as image description, segmentation, and registration. However, skeletonization has only seen limited use in contemporary deep learning solutions. Most existing skeletonization algorithms are not differentiable, making it impossible to integrate them with gradient-based optimization. Compatible algorithms based on morphological operations and neural networks have been proposed, but their results often deviate from the geometry and topology of the true medial axis. This work introduces the first three-dimensional skeletonization algorithm that is both compatible with gradient-based optimization and preserves an object's topology. Our method is exclusively based on matrix additions and multiplications, convolutional operations, basic non-linear functions, and sampling from a uniform probability distribution, allowing it to be easily implemented in any major deep learning library. In benchmarking experiments, we prove the advantages of our skeletonization algorithm compared to non-differentiable, morphological, and neural-network-based baselines. Finally, we demonstrate the utility of our algorithm by integrating it with two medical image processing applications that use gradient-based optimization: deep-learning-based blood vessel segmentation, and multimodal registration of the mandible in computed tomography and magnetic resonance images.

研究动机与目标

• 解决深度学习中缺乏与基于梯度的优化兼容的可微骨架化方法的问题。
• 克服形态学方法和基于神经网络的骨架化方法常见的拓扑不准确问题，这些方法常在骨架中引入断裂。
• 开发一种在保持真实中轴拓扑结构的同时，完全兼容反向传播和深度学习框架的方法。
• 在真实世界医学图像处理应用中展示其效用，这些应用需要优化，如血管分割和多模态图像配准。
• 通过一种可微、领域无关的骨架化方法，为在深度学习流水线中引入拓扑归纳偏置奠定基础。

提出的方法

• 该算法基于矩阵加法和乘法、卷积运算以及基本的非线性激活函数，采用可微的公式化方法。
• 采用可并行化的方案，以保持拓扑结构的方式识别并移除简单点，确保中轴在几何和拓扑上均保持准确。
• 引入一种随机采样策略，对非二值输入图像进行离散化，实现可微性，同时保持对原始物体结构的保真度。
• 利用基于欧拉示性数的准则，确保骨架化过程中的拓扑正确性，避免形态学方法中常见的虚假断裂。
• 整个流水线使用PyTorch和TensorFlow等深度学习框架原生支持的操作实现，支持端到端反向传播。
• 该方法支持基于欧拉示性数和基于布尔运算的简化规则，实现灵活的实现方式与性能调优。

实验结果

研究问题

• RQ1 能否设计一种3D骨架化算法，使其既可微又保持拓扑结构，从而可集成到基于梯度的深度学习流水线中？
• RQ2 与不可微、形态学和基于神经网络的骨架化基线相比，该方法在拓扑和几何精度方面表现如何？
• RQ3 可微骨架化在基于深度学习的医学图像分割和多模态配准任务中，能在多大程度上提升性能？
• RQ4 该算法能否仅使用标准深度学习操作实现，确保与现有框架的广泛兼容性？
• RQ5 在配准中使用基于骨架的损失函数，相比标准的基于掩码的损失函数，是否能带来更高的对齐精度？

主要发现

• 在基准测试实验中，所提算法在拓扑和几何精度方面均优于不可微、形态学和基于神经网络的基线方法。
• 在多模态下颌骨配准任务中，使用骨架作为损失函数，Dice相似系数（DSC）达到0.37 ± 0.02（欧拉变体）和0.37 ± 0.01（布尔变体），优于无骨架化基线（0.38 ± 0.01）和形态学基线（0.32 ± 0.01）。
• 与基线相比，所提方法的豪斯多夫距离（HD）降低至28.0 ± 1.1 mm（布尔变体），而基线为29.9 ± 0.9 mm，表明空间对齐性能更优。
• 平均表面距离（ASD）在各方法间保持一致（6.5–6.7 mm），证实表面精度一致，同时提升了拓扑保真度。
• 该算法可通过PyTorch等自动微分框架无缝集成至深度学习流水线，证明其在真实应用中与基于梯度的优化兼容。
• 该方法为领域无关，无需针对特定数据分布进行微调，与易受领域偏移影响的可学习骨架化方法不同。