[论文解读] ACCL: Adversarial constrained-CNN loss for weakly supervised medical image segmentation

Pengyi Zhang, Yunxin Zhong+1 more|arXiv (Cornell University)|May 1, 2020

Adversarial Robustness in Machine Learning被引用 11

一句话总结

本文提出ACCL，一种新颖的弱监督医学图像分割方法，通过使用参考掩码的对抗学习来强制实施先验知识作为高阶分布约束。通过在参考掩码上训练判别器而非分割输出，ACCL实现了最先进性能，在仅0.65%标注比例下达到75.4%的平均Dice分数——比先前最先进方法高出11.4%。

ABSTRACT

We propose adversarial constrained-CNN loss, a new paradigm of constrained-CNN loss methods, for weakly supervised medical image segmentation. In the new paradigm, prior knowledge is encoded and depicted by reference masks, and is further employed to impose constraints on segmentation outputs through adversarial learning with reference masks. Unlike pseudo label methods for weakly supervised segmentation, such reference masks are used to train a discriminator rather than a segmentation network, and thus are not required to be paired with specific images. Our new paradigm not only greatly facilitates imposing prior knowledge on network's outputs, but also provides stronger and higher-order constraints, i.e., distribution approximation, through adversarial learning. Extensive experiments involving different medical modalities, different anatomical structures, different topologies of the object of interest, different levels of prior knowledge and weakly supervised annotations with different annotation ratios is conducted to evaluate our ACCL method. Consistently superior segmentation results over the size constrained-CNN loss method have been achieved, some of which are close to the results of full supervision, thus fully verifying the effectiveness and generalization of our method. Specifically, we report an average Dice score of 75.4% with an average annotation ratio of 0.65%, surpassing the prior art, i.e., the size constrained-CNN loss method, by a large margin of 11.4%. Our codes are made publicly available at https://github.com/PengyiZhang/ACCL.

研究动机与目标

• 为解决仅需极少人工标注的弱监督医学图像分割挑战。
• 通过参考掩码编码先验知识以提升分割性能。
• 开发一种新范式，利用对抗学习对分割输出施加分布级约束。
• 在多种医学影像模态、解剖结构和标注比例下实现卓越泛化能力。
• 在低标注比例场景下超越现有约束-CNN方法，尤其在该条件下表现更优。

提出的方法

• ACCL提出一种新型损失框架，其中先验知识通过参考掩码编码，并用于训练判别器网络。
• 判别器区分真实参考掩码与虚假分割输出，从而强制实现分布级对齐。
• 与伪标签方法不同，参考掩码不与特定图像配对，也不直接用于训练分割网络。
• 分割网络通过欺骗判别器进行训练，从而学习生成与参考掩码统计分布一致的输出。
• 该方法结合对抗训练与约束-CNN原理，施加更高阶的、分布级约束。
• 该框架兼容多种网络架构，且无需成对的图像-掩码标注。

实验结果

研究问题

• RQ1 基于参考掩码的对抗学习是否能超越伪标签方法，提升弱监督医学图像分割性能？
• RQ2 在参考掩码上训练的判别器是否能施加强于传统基于尺寸的约束的更高阶约束？
• RQ3 ACCL在不同医学影像模态和解剖结构下，面对不同程度先验知识时表现如何？
• RQ4 ACCL在极低标注比例下，能在多大程度上实现接近全监督的性能？
• RQ5 与现有约束-CNN方法相比，ACCL在不同拓扑结构和标注比例下的泛化能力如何？

主要发现

• ACCL在仅0.65%标注比例下达到75.4%的平均Dice分数，显著优于先前最先进方法。
• 与基于尺寸的约束-CNN损失方法相比，平均Dice分数提升11.4个百分点，证明了性能的显著提升。
• 该方法在不同医学影像模态、解剖结构和物体拓扑结构间均表现出良好泛化能力。
• 在所有测试的标注比例和先验知识水平下，结果均保持一致的优越性。
• 尽管标注极少，该方法仍实现了接近全监督基线的分割性能。
• 公开发布代码支持可复现性，并推动弱监督医学分割领域的进一步研究。