[论文解读] Structure-Aware Image Segmentation with Homotopy Warping

Xiaoling Hu|arXiv (Cornell University)|Dec 15, 2021

Digital Image Processing Techniques被引用 7

一句话总结

本文提出了一种同伦形变损失，通过识别并惩罚拓扑关键像素（即几何形变导致结构错误的位置）来提升深度图像分割中的拓扑准确性。该方法基于距离变换的启发式策略，高效计算预测掩码与真实掩码之间的同伦等价形变，在2D和3D基准测试中显著提升了ARI、形变误差和贝蒂数误差，优于当前最先进的拓扑感知方法。

ABSTRACT

Besides per-pixel accuracy, topological correctness is also crucial for the segmentation of images with fine-scale structures, e.g., satellite images and biomedical images. In this paper, by leveraging the theory of digital topology, we identify pixels in an image that are critical for topology. By focusing on these critical pixels, we propose a new homotopy warping loss to train deep image segmentation networks for better topological accuracy. To efficiently identify these topologically critical pixels, we propose a new algorithm exploiting the distance transform. The proposed algorithm, as well as the loss function, naturally generalize to different topological structures in both 2D and 3D settings. The proposed loss function helps deep nets achieve better performance in terms of topology-aware metrics, outperforming state-of-the-art structure/topology-aware segmentation methods.

研究动机与目标

• 为解决深度图像分割中的拓扑错误（如断裂连接和孔洞）而提出，即使在像素级精度较高时，这些错误依然存在。
• 识别拓扑关键像素——即既具挑战性又在结构上具有重要意义的像素，而非所有分类错误的像素。
• 开发一种高效且可扩展的方法，用于检测预测掩码与真实掩码之间的拓扑差异。
• 设计一种即插即用的损失函数，提升拓扑感知性能，而无需修改网络架构。
• 在保持计算效率的同时，超越现有方法在拓扑相关指标上的表现。

提出的方法

• 提出一种同伦形变损失，对通过预测掩码与真实掩码二值掩码之间同伦形变所识别出的像素错误进行惩罚。
• 将拓扑关键像素定义为：在形变下，预测掩码与其最近的同伦等价掩码之间存在差异的像素。
• 提出一种新颖的距离有序同伦形变算法，利用距离变换优先翻转靠近掩码边界的简单像素。
• 通过在简单像素（拓扑稳定点）上迭代进行标签翻转，实现最小拓扑变化的掩码形变。
• 通过将分类错误像素按其与掩码的距离进行启发式排序，加速收敛并提升形变的局部最优性。
• 损失函数具有可微性，兼容标准深度学习框架，支持使用任意分割主干网络进行端到端训练。

实验结果

研究问题

• RQ1 我们能否基于持久同调或似然图等现有方法，更准确且高效地识别拓扑关键像素？
• RQ2 基于同伦的形变策略是否能提供比像素级损失更鲁棒且更可解释的拓扑差异度量？
• RQ3 距离有序启发式同伦形变能否在时间复杂度为线性的情况下实现高质量结果？
• RQ4 引入同伦形变损失是否能在ARI、形变误差和贝蒂数误差等拓扑感知指标上带来可测量的性能提升？
• RQ5 与形态学后处理技术（如核大小为15的闭运算）相比，该方法在效率和性能上表现如何？

主要发现

• 在2D基准测试中，所提同伦形变损失达到Dice分数0.603、ARI 0.572、形变误差8.853×10⁻³和贝蒂数误差1.251，优于基线U-Net和后处理方法。
• 与基线U-Net相比，形变误差降低15.5%；与TopoNet相比，降低12.5%，表明其具有更优的拓扑保真度。
• 距离有序形变算法实现O(n)时间复杂度，显著快于TopoNet的O(n³)持久同调计算。
• 消融实验表明，若移除距离变换启发式策略，性能下降，证实其在高效且准确识别关键像素中的关键作用。
• 该方法在拓扑感知指标和训练效率上均优于clDice和DMT，仅需约4小时微调时间。
• 形态学后处理（如核大小为15的闭运算）无法改善拓扑指标，反而常导致不连通组件的合并，凸显了网络内拓扑学习的必要性。