[论文解读] Annotation-cost Minimization for Medical Image Segmentation using Suggestive Mixed Supervision Fully Convolutional Networks

Yash Bhalgat, Meet Shah+1 more|arXiv (Cornell University)|Dec 29, 2018

Advanced Neural Network Applications参考文献 6被引用 16

一句话总结

本文提出了一种预算约束下的成本最小化框架，用于通过全卷积网络实现医学图像分割的提示性混合监督。通过制定一种考虑不确定性和相似性的线性规划方法，以选择最优标注（密集分割、边界框、关键点），该方法在仅使用全监督10分之1的标注成本下，于JSRT数据集上实现了最先进的分割性能。

ABSTRACT

For medical image segmentation, most fully convolutional networks (FCNs) need strong supervision through a large sample of high-quality dense segmentations, which is taxing in terms of costs, time and logistics involved. This burden of annotation can be alleviated by exploiting weak inexpensive annotations such as bounding boxes and anatomical landmarks. However, it is very difficult to extit{a priori} estimate the optimal balance between the number of annotations needed for each supervision type that leads to maximum performance with the least annotation cost. To optimize this cost-performance trade off, we present a budget-based cost-minimization framework in a mixed-supervision setting via dense segmentations, bounding boxes, and landmarks. We propose a linear programming (LP) formulation combined with uncertainty and similarity based ranking strategy to judiciously select samples to be annotated next for optimal performance. In the results section, we show that our proposed method achieves comparable performance to state-of-the-art approaches with significantly reduced cost of annotations.

研究动机与目标

• 通过利用边界框和关键点等弱监督、低成本监督类型，降低医学影像中密集像素级分割的高昂标注成本。
• 解决在固定预算下，如何在不同标注类型（分割、检测、关键点）之间确定最优平衡的问题。
• 开发一种提示性标注策略，动态选择下一张图像及标注类型，以在最小化成本的同时最大化分割性能。
• 将不确定性估计与样本多样性整合进线性规划框架，实现混合监督设置下成本高效的主动学习。

提出的方法

• 采用改进的MS-Net架构，包含三个子网络分别用于密集分割、关键点检测和边界框回归，每个子网络均通过具体dropout增强不确定性估计。
• 分配不同的标注成本（C_s=10, C_d=1, C_l=7）和价值估计（V_i），表示每类标注的边际IoU增益。
• 采用线性规划（LP）公式以最大化总价值增益，同时加权不确定性（u(x)）并惩罚相似性（S(x,X_init)），以促进多样性。
• 通过二值决策变量z(x)对每张图像的标注类型进行优化选择，受总预算b的约束，使用cvxpy求解。
• 基于观测到的IoU改进和标注频率，使用加权平均动态更新价值估计V_i。
• 在向X_init添加新标注样本后，迭代重新训练网络，实现在预算约束下的渐进性能提升。

实验结果

研究问题

• RQ1 在固定标注预算下，密集分割、边界框和关键点标注之间的最优平衡是什么，才能使分割性能最大化？
• RQ2 在混合监督设置中，能否有效利用不确定性和样本多样性来指导标注选择，以实现成本高效的医学图像分割？
• RQ3 所提出的基于LP的标注建议框架在性能-成本权衡方面，相较于最先进的主动学习与混合监督方法表现如何？
• RQ4 弱监督（如边界框和关键点）在多大程度上可以替代昂贵的密集标注，同时保持高分割精度？

主要发现

• 所提出的SMS-Net在JSRT数据集上实现了最先进的分割性能，且标注成本仅为全监督的10分之1。
• 在预算紧缩时，该方法优先选择低成本标注（边界框和关键点），其对性能提升的贡献显著。
• 随着预算增加，该方法自然地转向更多密集分割，反映出其更高的价值与成本。
• 基于LP的选择策略在每个预算水平下均实现了高于基线方法的IoU性能，证明了其卓越的成本效率。
• 动态价值更新机制（V_i(t+1)）能有效适应观测到的性能增益，提升未来标注建议的准确性。