[论文解读] Contour Transformer Network for One-shot Segmentation of Anatomical Structures

Yuhang Lu, Kang Zheng+9 more|arXiv (Cornell University)|Dec 2, 2020

Medical Image Segmentation Techniques参考文献 50被引用 4

一句话总结

本文提出轮廓变换网络（CTN），一种一次性医学图像分割方法，通过图卷积网络（GCNs）将解剖结构分割建模为轮廓演化过程。通过利用一个标注的样本和无标签图像，结合形状、外观和边缘一致性损失，CTN在仅需极少人工介入反馈（如部分轮廓修正）的情况下，性能可与全监督方法相媲美，甚至超越它们。

ABSTRACT

Accurate segmentation of anatomical structures is vital for medical image analysis. The state-of-the-art accuracy is typically achieved by supervised learning methods, where gathering the requisite expert-labeled image annotations in a scalable manner remains a main obstacle. Therefore, annotation-efficient methods that permit to produce accurate anatomical structure segmentation are highly desirable. In this work, we present Contour Transformer Network (CTN), a one-shot anatomy segmentation method with a naturally built-in human-in-the-loop mechanism. We formulate anatomy segmentation as a contour evolution process and model the evolution behavior by graph convolutional networks (GCNs). Training the CTN model requires only one labeled image exemplar and leverages additional unlabeled data through newly introduced loss functions that measure the global shape and appearance consistency of contours. On segmentation tasks of four different anatomies, we demonstrate that our one-shot learning method significantly outperforms non-learning-based methods and performs competitively to the state-of-the-art fully supervised deep learning methods. With minimal human-in-the-loop editing feedback, the segmentation performance can be further improved to surpass the fully supervised methods.

研究动机与目标

• 为解决训练精确分割模型时专家标注的医学图像数据有限的挑战。
• 开发一种仅需一个标注样本和一组无标签图像的一次性分割方法，消除对外部大规模数据集的依赖。
• 引入一种高效的“人机协同”机制，通过部分轮廓修正提升模型性能。
• 利用不同X光图像中解剖结构的固有规律性——如一致的形状和外观模式——实现半监督学习。
• 在对精度要求极高的临床应用中实现高精度分割，例如关节间隙测量。

提出的方法

• 将分割建模为由级联图卷积网络（GCN）引导的轮廓演化过程，以模拟形状和外观的演化。
• 引入三种可微损失函数：轮廓感知损失（用于VGG特征空间中的外观相似性）、轮廓弯曲损失（通过薄板样条能量实现形状相似性）和边缘损失（用于边界一致性）。
• 以样本的轮廓作为初始化，在无标签图像上通过三种损失函数演化轮廓，以保证全局形状和外观的一致性。
• 通过将人工修正视为部分轮廓，并应用Chamfer损失对模型进行微调，实现人机协同反馈。
• 采用半监督训练策略，利用无标签数据，无需依赖外部标注数据集。
• 采用二维轮廓表示，实现图像间分割形状和边界特征的直接比较。

实验结果

研究问题

• RQ1 仅使用一个标注样本和无标签数据，一次性分割模型能否实现与全监督方法相当的性能？
• RQ2 能否有效利用不同X光图像中解剖结构之间的形状和外观相似性，实现半监督学习？
• RQ3 如何将“人机协同”机制原生地集成到一次性分割中，以最小的标注工作量提升精度？
• RQ4 基于轮廓的表示与图卷积网络能否有效建模医学图像中解剖边界的演化？
• RQ5 引入部分人工修正对一次性分割模型性能有何影响？

主要发现

• CTN显著优于非学习型一次性分割方法，在四个X光图像分割任务中性能与最先进的全监督模型（如DeepLab）相当。
• 在额外使用无标签数据后，CTN达到全监督方法的性能水平，且无需额外标注。
• 在通过部分轮廓修正引入人机协同反馈后，CTN超越了所有全监督方法，尤其在HD指标上表现突出，证明了反馈机制的有效性。
• 模型保持了高推理速度，达到15.39 FPS，超过荧光透视成像速率（15 FPS），表明其具备实时临床应用潜力。
• 轮廓弯曲损失有效规范了形状演化，使模型对急性形状变化更敏感，减少了不规则分割。
• 轮廓感知损失在ImageNet预训练的VGG特征空间中计算，能够捕捉显著的结构模式，对低层次图像变化具有鲁棒性。