[论文解读] Beyond the Pixel-Wise Loss for Topology-Aware Delineation

Agata Mosinska, Pablo Márquez-Neila+2 more|arXiv (Cornell University)|Dec 6, 2017

Cell Image Analysis Techniques参考文献 23被引用 17

一句话总结

本文提出一种拓扑感知损失函数与迭代优化流程，以提升基于深度学习的曲线状结构（如道路和神经元膜）分割性能。通过利用预训练VGG19网络的高层特征图来衡量预测结果与真实标签之间的拓扑一致性，并应用参数共享的迭代优化，该方法在标准像素级训练基础上将分割准确率最高提升30个百分点。

ABSTRACT

Delineation of curvilinear structures is an important problem in Computer Vision with multiple practical applications. With the advent of Deep Learning, many current approaches on automatic delineation have focused on finding more powerful deep architectures, but have continued using the habitual pixel-wise losses such as binary cross-entropy. In this paper we claim that pixel-wise losses alone are unsuitable for this problem because of their inability to reflect the topological impact of mistakes in the final prediction. We propose a new loss term that is aware of the higher-order topological features of linear structures. We also introduce a refinement pipeline that iteratively applies the same model over the previous delineation to refine the predictions at each step while keeping the number of parameters and the complexity of the model constant. When combined with the standard pixel-wise loss, both our new loss term and our iterative refinement boost the quality of the predicted delineations, in some cases almost doubling the accuracy as compared to the same classifier trained with the binary cross-entropy alone. We show that our approach outperforms state-of-the-art methods on a wide range of data, from microscopy to aerial images.

研究动机与目标

• 解决基于像素的损失函数在曲线状结构分割任务中的局限性，此类损失函数无法有效处理诸如间隙或分裂等拓扑错误。
• 通过将高阶拓扑约束整合进训练目标，提升分割质量。
• 设计一种参数高效的迭代优化流程，可在不增加模型复杂度的前提下提升预测性能。
• 在包括显微镜图像、航拍图像和道路图像在内的多样化数据集上实现最先进性能。
• 证明拓扑感知能力可带来更结构化、更精确且更具鲁棒性的预测结果，尤其在噪声较大或成像条件复杂的场景中表现更优。

提出的方法

• 提出一种拓扑感知损失项，通过比较预训练VGG19网络的高层特征图，评估预测结果与真实标签之间曲线结构的拓扑相似性。
• 利用VGG19网络前三个卷积模块的特征图，捕捉对线性模式的结构敏感性，从而检测拓扑不一致性。
• 设计一种迭代优化流程，将同一训练好的模型反复应用于其自身预测结果，逐步填补间隙并优化拓扑结构。
• 在所有优化阶段共享权重，确保即使在多轮迭代下，模型复杂度与参数量保持不变。
• 在训练过程中将新提出的拓扑损失与标准二元交叉熵损失联合优化，同时提升像素级准确率与拓扑正确性。
• 在U-Net与基于VGG的架构上端到端应用该方法，验证其在不同网络结构与数据模态下的泛化能力。

实验结果

研究问题

• RQ1 是否可通过显式编码曲线状结构的拓扑属性的损失函数，使分割性能超越仅依赖像素级监督的方法？
• RQ2 使用共享模型架构进行迭代优化，如何影响预测结果中线性结构的质量与拓扑保真度？
• RQ3 该方法在包括裂缝、道路与电子显微镜图像在内的多样化数据集上，相较于最先进方法的性能提升程度如何？
• RQ4 拓扑监督的引入是否能在对结构连续性与连通性敏感的指标上带来可测量的性能提升？
• RQ5 该方法是否可在无需架构修改或引入额外参数的情况下有效应用，尤其在数据稀缺的生物医学场景中？

主要发现

• 仅使用所提出的拓扑感知损失，相比标准二元交叉熵训练，分割准确率最高可提升30个百分点。
• 与迭代优化结合后，该方法在ISBI EM挑战赛中实现了0.981的前景限制随机评分，成为单分类器方法中的第一名。
• 在EM数据集上，该方法实现了67.0%的正确路径检测率，优于U-Net（51.5%）与Reg-AC（36.1%），在拓扑正确性方面表现更优。
• 在道路数据集上，迭代优化将不可行路径比例从32.3%（OURS-NoRef）降低至24.2%，显著提升了结构一致性。
• 该方法显著减少了背景区域（如神经元膜中的线粒体）的误报，同时有效保留并增强了目标结构。
• 定性结果表明，该方法能有效填补线性结构中的微小间隙，防止像素级损失函数无法惩罚的大规模拓扑错误。