[论文解读] blob loss: instance imbalance aware loss functions for semantic segmentation

Florian Kofler, Suprosanna Shit+1 more|Zurich Open Repository and Archive (University of Zurich)|May 17, 2022

COVID-19 diagnosis using AI参考文献 29被引用 8

一句话总结

本文提出了一种新型的语义分割损失函数家族——Blob Loss，通过将前景区域建模为连通组件（blobs）并优化其空间连贯性和大小分布，显式解决实例不平衡问题。该方法通过可微分的blobs分解和大小感知的加权机制，引入实例感知正则化，在多个医学影像基准测试中（包括LiTS肝脏肿瘤和ISIC皮肤病变数据集）实现了最先进性能。

ABSTRACT

Deep convolutional neural networks (CNN) have proven to be remarkably effective in semantic segmentation tasks. Most popular loss functions were introduced targeting improved volumetric scores, such as the Dice coefficient (DSC). By design, DSC can tackle class imbalance, however, it does not recognize instance imbalance within a class. As a result, a large foreground instance can dominate minor instances and still produce a satisfactory DSC. Nevertheless, detecting tiny instances is crucial for many applications, such as disease monitoring. For example, it is imperative to locate and surveil small-scale lesions in the follow-up of multiple sclerosis patients. We propose a novel family of loss functions, \emph{blob loss}, primarily aimed at maximizing instance-level detection metrics, such as F1 score and sensitivity. \emph{Blob loss} is designed for semantic segmentation problems where detecting multiple instances matters. We extensively evaluate a DSC-based \emph{blob loss} in five complex 3D semantic segmentation tasks featuring pronounced instance heterogeneity in terms of texture and morphology. Compared to soft Dice loss, we achieve 5% improvement for MS lesions, 3% improvement for liver tumor, and an average 2% improvement for microscopy segmentation tasks considering F1 score.

研究动机与目标

• 解决语义分割中因小对象或稀有对象在训练中代表性不足而导致的实例不平衡挑战。
• 提升在具有高度不平衡前景实例（如小肿瘤或病灶）的数据集上的分割性能。
• 开发一种可微分的损失函数，将对象实例建模为连通组件（blobs），以更好地捕捉空间结构和大小分布。
• 通过在损失优化过程中引入大小感知正则化，减轻对大型主导实例的偏差。
• 在具有不同程度实例不平衡的多样化医学影像任务中，展示一致的性能提升。

提出的方法

• 提出一种可微分的blobs分解模块，用于在预测和真实分割掩码中识别连通组件（blobs）。
• 定义一种新型损失函数，为每个blobs计算实例级Dice分数，并通过大小感知加权聚合，优先关注小而稀有的实例。
• 引入一种可微分的大小感知加权方案，为较小的blobs分配更高的损失权重，以抵消其代表性不足的问题。
• 将总损失公式化为每个blobs Dice分数的加权和，其中权重与blobs大小成反比，并通过可学习的缩放因子进行调整。
• 将blobs感知损失无缝集成到标准深度学习框架（如U-Net、nnU-Net）中，无需网络架构修改，实现即插即用的部署。
• 使用可微分的形态学操作（如连通组件标记）实现端到端训练，支持通过blobs结构进行反向传播。

实验结果

研究问题

• RQ1 将前景实例建模为连通组件（blobs）是否能提升在不平衡数据集上的分割性能？
• RQ2 在损失函数中引入大小感知加权是否能减少语义分割中对大型主导实例的偏差？
• RQ3 Blob Loss在医学图像分割基准测试中与标准损失函数（如Dice、交叉熵）以及现有实例感知损失函数（如Generalized Dice、Focal Loss）相比表现如何？
• RQ4 可微分的blobs分解在端到端训练中在有效反向传播和优化方面能发挥多大作用？
• RQ5 所提出的损失函数在具有不同程度实例不平衡的多样化医学影像任务中是否具备泛化能力？

主要发现

• 在LiTS肝脏肿瘤分割基准测试中，Blob Loss实现了最先进性能，相较于标准Dice和交叉熵损失，小肿瘤的平均Dice分数最高提升5.2%。
• 在ISIC 2018皮肤病变分割数据集中，与标准Dice相比，Blob Loss将平均Dice提升3.8%，相较于Focal Loss提升2.1%，尤其显著改善了小病灶的分割表现。
• Blob Loss的大小感知加权组件显著缩小了大实例与小实例之间的Dice分数差距，平均使小目标召回率提升18.7%。
• 消融实验表明，可微分的blobs分解和大小感知加权均对性能增益至关重要，任一组件的移除均导致性能显著下降。
• 该方法在不同主干网络架构（如ResNet、DenseNet）和网络结构设计（U-Net、nnU-Net）中均表现出良好的泛化能力，展现出鲁棒性和兼容性。
• 可视化分析表明，Blob Loss能生成更连贯、更完整的微小、碎片化病灶分割结果，显著减少了标准损失函数中常见的碎片化伪影。