[论文解读] Deep Active Learning for Joint Classification & Segmentation with Weak Annotator

Soufiane Belharbi, Ismail Ben Ayed+2 more|arXiv (Cornell University)|Oct 10, 2020

Machine Learning and Algorithms参考文献 62被引用 9

一句话总结

该论文提出了一种深度主动学习框架，仅使用图像级别标签和低成本的标注员（oracle）进行像素级标注，联合执行图像分类与分割。通过整合未标注数据的伪分割结果并迭代选择信息量丰富的样本，该方法显著提升了弱监督方法的分割精度，在CUB-200-2011数据集上仅标注每类一个样本后即达到75.29%的Dice分数。

ABSTRACT

CNN visualization and interpretation methods, like class-activation maps (CAMs), are typically used to highlight the image regions linked to class predictions. These models allow to simultaneously classify images and extract class-dependent saliency maps, without the need for costly pixel-level annotations. However, they typically yield segmentations with high false-positive rates and, therefore, coarse visualisations, more so when processing challenging images, as encountered in histology. To mitigate this issue, we propose an active learning (AL) framework, which progressively integrates pixel-level annotations during training. Given training data with global image-level labels, our deep weakly-supervised learning model jointly performs supervised image-level classification and active learning for segmentation, integrating pixel annotations by an oracle. Unlike standard AL methods that focus on sample selection, we also leverage large numbers of unlabeled images via pseudo-segmentations (i.e., self-learning at the pixel level), and integrate them with the oracle-annotated samples during training. We report extensive experiments over two challenging benchmarks -- high-resolution medical images (histology GlaS data for colon cancer) and natural images (CUB-200-2011 for bird species). Our results indicate that, by simply using random sample selection, the proposed approach can significantly outperform state-of the-art CAMs and AL methods, with an identical oracle-supervision budget. Our code is publicly available.

研究动机与目标

• 解决在具有挑战性的医学图像和自然图像数据集中类激活图（CAMs）存在的高假阳性率和粗粒度定位问题。
• 通过结合主动学习与低成本标注员，降低深度学习中像素级标注的成本。
• 通过在训练过程中结合未标注数据的伪分割结果与标注员标注的样本，提升分割性能。
• 证明在结合自学习与主动学习时，随机样本选择策略可优于复杂的样本获取策略。

提出的方法

• 该框架使用弱监督卷积神经网络，仅基于图像级别标签联合执行图像分类与分割任务。
• 提出一种新颖的主动学习协议，根据不确定性和代表性选择样本进行标注员标注，同时利用未标注数据的伪分割结果。
• 通过基于相似性的策略生成伪分割结果，识别具有相似染色模式或内容的k个最近邻样本。
• 引入惩罚项（λ）以正则化模型在伪标注样本上的预测结果，平衡一致性与准确性。
• 该方法在训练有标签数据与使用最新模型权重优化伪分割结果之间交替进行。
• 框架采用端到端训练，损失函数结合了交叉熵损失（用于分类）与加权Dice损失（用于分割）。

实验结果

研究问题

• RQ1 在不依赖复杂样本获取策略的前提下，深度主动学习框架是否能提升弱监督设置下的分割精度？
• RQ2 在低监督设置下，整合未标注数据的伪分割结果对模型性能有何影响？
• RQ3 当结合自学习与主动学习时，随机样本选择是否优于基于不确定性的选择策略？
• RQ4 该方法对超参数λ（正则化强度）和k（最近邻数量）的敏感性如何？
• RQ5 在具有挑战性的数据集（如组织病理学图像与细粒度鸟类图像）中，该方法是否能以极少的标注员标注实现高分割精度？

主要发现

• 在CUB-200-2011数据集上，仅标注每类一个样本后，该方法达到75.29%的Dice分数，显著优于弱监督基线方法（40.16%）及其他主动学习方法。
• 即使采用随机样本选择策略，该方法在相同标注员预算下仍优于最先进的CAM与主动学习基线方法，证明了伪分割结果整合的有效性。
• 该方法对超参数k具有鲁棒性，在25次查询中AUC的偏差仅为0.59，表明在不同k值下性能稳定。
• 该方法对λ敏感，最优性能在低值时达到（CUB数据集λ = 0.001，GlaS数据集λ = 0.1），因为较高值会放大噪声伪标注带来的误差。
• 定性结果表明，与基于CAM的方法相比，该方法生成的分割掩码更准确、分辨率更高，且假阳性更少，尤其在组织病理学图像中表现更优。
• k个最近邻相似性机制能有效捕捉组织病理学图像中的染色差异以及鸟类图像中的一般外观特征，从而实现有效的伪标注迁移。