[论文解读] Dual-Branch Network with Dual-Sampling Modulated Dice Loss for Hard Exudate Segmentation from Colour Fundus Images

Qing Liu, Haotian Liu+1 more|arXiv (Cornell University)|Dec 3, 2020

Retinal Imaging and Analysis参考文献 34被引用 5

一句话总结

本论文提出一种双分支U-Net类网络，结合一种新颖的双采样调制Dice损失，以解决彩色眼底图像中硬性渗出物分割存在的极端类别不平衡和尺寸差异巨大问题。该方法通过一种均匀采样分支侧重于大尺寸渗出物，另一种重加权采样分支侧重于小尺寸渗出物，结合自适应损失调制实现由易到难的学习；在DDR和IDRiD数据集上实现了最先进性能。

ABSTRACT

Automated segmentation of hard exudates in colour fundus images is a challenge task due to issues of extreme class imbalance and enormous size variation. This paper aims to tackle these issues and proposes a dual-branch network with dual-sampling modulated Dice loss. It consists of two branches: large hard exudate biased learning branch and small hard exudate biased learning branch. Both of them are responsible for their own duty separately. Furthermore, we propose a dual-sampling modulated Dice loss for the training such that our proposed dual-branch network is able to segment hard exudates in different sizes. In detail, for the first branch, we use a uniform sampler to sample pixels from predicted segmentation mask for Dice loss calculation, which leads to this branch naturally be biased in favour of large hard exudates as Dice loss generates larger cost on misidentification of large hard exudates than small hard exudates. For the second branch, we use a re-balanced sampler to oversample hard exudate pixels and undersample background pixels for loss calculation. In this way, cost on misidentification of small hard exudates is enlarged, which enforces the parameters in the second branch fit small hard exudates well. Considering that large hard exudates are much easier to be correctly identified than small hard exudates, we propose an easy-to-difficult learning strategy by adaptively modulating the losses of two branches. We evaluate our proposed method on two public datasets and results demonstrate that ours achieves state-of-the-art performances.

研究动机与目标

• 解决硬性渗出物分割中极端类别不平衡的挑战，其中背景像素数量远超渗出物像素（比例高达512:1）。
• 克服因渗出物尺寸差异极大而带来的分割困难，其中90%的渗出物像素属于小于图像面积9.7×10⁻⁵的区域。
• 通过双分支架构实现对大、小渗出物的分别学习，提升分割性能，同时引入部分权重共享机制。
• 设计一种自适应调制损失函数，优先在大渗出物被充分学习后，逐步增强对小渗出物的学习优先级，实现由易到难的训练策略。
• 在公开数据集DDR和IDRiD上实现最先进性能，优于使用标准交叉熵损失或Dice损失训练的模型。

提出的方法

• 提出一种双分支网络，其中一支网络使用均匀采样训练Dice损失（侧重于大渗出物），另一支使用重加权采样（增加渗出物采样率，减少背景采样率）以突出小渗出物的特征。
• 设计一种双采样调制Dice损失（DSM损失），其结合两个损失分量：一个来自均匀采样（侧重于大渗出物），另一个来自重加权采样（侧重于小渗出物）。
• 在训练过程中应用自适应损失调制，随着训练进程推进，逐步提升小渗出物分支的损失权重，实现由易到难的学习策略。
• 在两个分支之间采用部分权重共享，以共享低级特征，同时允许高级特征进行任务特定的自适应调整。
• 在DDR和IDRiD数据集上使用DSM损失进行网络训练，并通过IoU、F1-score和AUPR等标准指标进行评估。
• 将双分支网络与PSPNet、Deeplabv3和HED等主干网络架构结合，验证其在不同模型上的泛化能力。

实验结果

研究问题

• RQ1 双分支网络结合独立采样策略是否能有效提升对尺寸差异极大的硬性渗出物的分割性能？
• RQ2 在严重类别不平衡条件下，双采样调制Dice损失是否能有效平衡大、小渗出物的学习？
• RQ3 由易到难训练中的自适应损失调制是否能提升对小尺寸、难检测渗出物的分割性能？
• RQ4 与标准损失函数（如CBCE、Dice）相比，所提方法在分割准确率和鲁棒性方面表现如何？
• RQ5 该双分支设计在不同分割主干网络（如PSPNet、Deeplabv3、HED）上是否在公开眼底图像数据集上具备良好的泛化能力？

主要发现

• 在DDR数据集上，所提双分支网络结合DSM损失实现了0.8640的IoU、0.7790的F1-score，以及σ=0.5时0.6954的F1-score，优于所有基线模型（包括使用CBCE或Dice损失训练的SPNet和DNL）。
• 在IDRiD数据集上，该方法实现了0.6239的IoU、0.7684的F1-score，以及σ=0.8时0.8353的F1-score，在所有指标上均优于L-seg、LWENet和Bin loss模型。
• 与基于CBCE的模型相比，该双分支网络结合DSM损失显著减少了误报（将背景错误分类为渗出物），后者易受大渗出物偏差影响。
• 与Dice损失模型相比，该方法减少了误报（将渗出物错误分类为背景），尤其在小渗出物上表现更优，后者易受背景偏差影响。
• 视觉对比显示，所提方法能更好地保留小渗出物区域，避免对背景区域的过度分割，而标准损失训练的模型则存在此类问题。
• 结合自适应损失调制的双分支架构在IDRiD数据集上取得了最高的AUPR（0.8296），表明其在检测稀有、微小渗出物方面具有卓越性能。