Skip to main content
QUICK REVIEW

[论文解读] An Asymetric Cycle-Consistency Loss for Dealing with Many-to-One Mappings in Image Translation: A Study on Thigh MR Scans

Michael Gadermayr, Maximilian Tschuchnig|arXiv (Cornell University)|Apr 23, 2020
Generative Adversarial Networks and Image Synthesis参考文献 13被引用 4
一句话总结

本文提出一种非对称循环一致性损失,以解决医学影像中图像到图像翻译的多对一映射问题,特别针对脂肪浸润肌肉的股骨MRI扫描。通过修改循环一致性目标以适应多个源图像映射到单一目标的情况,该方法在不增加模型复杂度的前提下提升了翻译质量和分割性能。

ABSTRACT

Generative adversarial networks using a cycle-consistency loss facilitate unpaired training of image-translation models and thereby exhibit a very high potential in manifold medical applications. However, the fact that images in one domain potentially map to more than one image in another domain (e.g. in case of pathological changes) exhibits a major challenge for training the networks. In this work, we offer a solution to improve the training process in case of many-to-one mappings by modifying the cycle-consistency loss. We show formally and empirically that the proposed method improves the performance significantly without radically changing the architecture and without increasing the overall complexity. We evaluate our method on thigh MRI scans with the final goal of segmenting the muscle in fat-infiltrated patients' data.

研究动机与目标

  • 解决未配对图像翻译中常见的多对一映射挑战,这在医学影像中普遍存在,即多个病理扫描可能映射到单一健康参考图像。
  • 在从多样化病理图像映射到单一正常参考域时,提升生成对抗网络的训练稳定性和翻译质量。
  • 在不降低模型简洁性和计算效率的前提下,提升医学图像翻译任务的性能。
  • 在脂肪浸润患者的股骨MRI扫描上评估该方法,以实现肌肉区域的精确分割。

提出的方法

  • 该方法引入一种非对称循环一致性损失,通过修改标准循环一致性目标,以处理多个源域图像映射到目标域单一图像的情况。
  • 与强制对称重建不同,该损失优先考虑多对一的映射方向,从而减少翻译过程中的歧义。
  • 通过基于映射歧义可能性重新加权循环一致性项,推导出损失函数,优先选择更可靠的重建路径。
  • 该方法被整合进基于GAN的图像翻译框架中,未改变网络架构,也未增加计算开销。
  • 该方法在未配对的股骨MRI扫描上进行端到端训练,目标是将脂肪浸润肌肉图像翻译为参考健康状态。

实验结果

研究问题

  • RQ1非对称循环一致性损失在医学影像中存在多对一映射时,如何提升图像翻译性能?
  • RQ2所提出的损失是否能在不改变网络结构的前提下,提升脂肪浸润MRI扫描中肌肉的分割准确性?
  • RQ3与标准对称循环一致性损失相比,该非对称损失在处理从病理图像到健康图像的模糊映射时表现如何?
  • RQ4与基线GAN模型采用对称循环一致性损失相比,该方法是否保持了训练稳定性和收敛速度?

主要发现

  • 所提出的非对称循环一致性损失在脂肪浸润肌肉的股骨MRI扫描上显著提升了图像翻译质量。
  • 与标准循环一致性训练相比,该方法在脂肪浸润患者中的肌肉区域分割性能更优。
  • 该改进未修改网络架构,也未增加计算复杂度。
  • 实验结果表明,重建误差降低,且在模糊映射场景下生成的翻译结果更具合理性。

更好的研究,从现在开始

从阅读论文到最终审阅,大幅缩短您的研究时间。

无需绑定信用卡

本解读由 AI 生成,并经人工编辑审核。