[论文解读] LC-GAN: Image-to-image Translation Based on Generative Adversarial Network for Endoscopic Images

Shan Lin, Fangbo Qin+4 more|arXiv (Cornell University)|Mar 10, 2020

Generative Adversarial Networks and Image Synthesis参考文献 46被引用 4

一句话总结

该论文提出LC-GAN，一种基于生成对抗网络的条件图像到图像翻译模型，旨在仅使用标注的尸体手术数据集和未标注的实时手术图像，实现跨域手术器械分割。通过使用具有预训练主干网络的两个不同生成器，将实时图像翻译为假尸体图像，并引入结构相似性损失与分割一致性损失，LC-GAN提升了语义保真度，在mDSC上比CycleGAN提高15.1–19.4%，在mIoU上提高17.9–22.9%，显著减少了实时手术分割中对手动标注的需求。

ABSTRACT

Intelligent vision is appealing in computer-assisted and robotic surgeries. Vision-based analysis with deep learning usually requires large labeled datasets, but manual data labeling is expensive and time-consuming in medical problems. We investigate a novel cross-domain strategy to reduce the need for manual data labeling by proposing an image-to-image translation model live-cadaver GAN (LC-GAN) based on generative adversarial networks (GANs). We consider a situation when a labeled cadaveric surgery dataset is available while the task is instrument segmentation on an unlabeled live surgery dataset. We train LC-GAN to learn the mappings between the cadaveric and live images. For live image segmentation, we first translate the live images to fake-cadaveric images with LC-GAN and then perform segmentation on the fake-cadaveric images with models trained on the real cadaveric dataset. The proposed method fully makes use of the labeled cadaveric dataset for live image segmentation without the need to label the live dataset. LC-GAN has two generators with different architectures that leverage the deep feature representation learned from the cadaveric image based segmentation task. Moreover, we propose the structural similarity loss and segmentation consistency loss to improve the semantic consistency during translation. Our model achieves better image-to-image translation and leads to improved segmentation performance in the proposed cross-domain segmentation task.

研究动机与目标

• 减少在手术器械分割任务中对手动标注实时手术内窥镜图像的依赖。
• 解决尸体与实时内窥镜手术图像之间的域偏移问题，其中仅在尸体域中拥有标注数据。
• 通过约束GAN训练，在内窥镜图像域之间进行图像到图像翻译时提升语义一致性。
• 通过对抗性图像翻译，实现从标注的尸体数据集到未标注的实时手术数据集的迁移学习。
• 证明利用图像翻译增强训练数据在支持手术训练与机器人辅助中的可行性。

提出的方法

• LC-GAN采用两个具有不同架构的生成器：其中一个使用预训练主干网络（如DeepLabV3+）以增强来自尸体域的特征表示。
• 模型采用修改后的CycleGAN框架进行训练，使用来自尸体和实时手术视频的未配对真实图像。
• 引入结构相似性损失（$\mathcal{L}_{SSim}$），以最小化图像翻译过程中的结构失真，保持空间与形状一致性。
• 应用分割一致性损失（$\mathcal{L}_{seg}$），以对齐真实尸体图像与其翻译生成的假尸体图像的分割预测结果。
• 将基于真实尸体数据集训练的分割头应用于翻译生成的假尸体图像，以在实时手术图像上执行推理。
• 整体损失函数结合对抗损失、循环一致性损失、结构相似性损失与分割一致性损失，实现联合优化。

实验结果

研究问题

• RQ1 在尸体与实时内窥镜手术图像之间进行图像到图像翻译，能否提升对未标注实时手术数据的分割性能？
• RQ2 在两个视觉差异显著的手术图像域之间进行翻译时，如何保持结构与语义一致性？
• RQ3 与标准GAN相比，引入预训练主干网络及额外的一致性损失，在翻译与分割质量方面能带来多大程度的提升？
• RQ4 所提出的方法能否在保持高性能的同时，减少实时手术器械分割中对手动标注的需求？
• RQ5 LC-GAN在跨域分割任务中的性能与基线GAN模型（如CycleGAN）及其他域自适应方法相比如何？

主要发现

• 在实时手术分割任务中，LC-GAN的平均Dice相似系数（mDSC）比CycleGAN高出15.1%至19.4%，平均交并比（mIoU）高出17.9%至22.9%。
• 消融实验证实，所提出的三个组件——主干特征提取器、结构相似性损失与分割一致性损失——均显著提升了收敛性与性能，三者联合使用进一步带来0.2%至2.2%的增益。
• 若不使用任一提出模块，网络在训练预算内无法收敛，凸显了所引入损失与架构的必要性。
• LC-GAN优于UNIT与MUNIT，后者因共享潜在空间假设在域偏移问题上表现不佳，尤其在器械与光照差异较大的场景中。
• 尽管性能低于直接在标注实时数据上训练的结果（mDSC低2.8–9.3%），但LC-GAN的跨域策略在实时数据标注不可行时提供了切实可行的替代方案。
• 该方法有效利用了现有标注的尸体数据用于实时手术分割，显著降低了标注负担，同时保持了临床相关的准确性。