[论文解读] GAN-enhanced Conditional Echocardiogram Generation

Amir H. Abdi, Teresa S.M. Tsang+1 more|arXiv (Cornell University)|Nov 5, 2019

Generative Adversarial Networks and Image Synthesis参考文献 7被引用 6

一句话总结

本文提出一种基于条件补丁的 GAN，用于从心脏结构（左心室、心肌和心房）的分割掩码生成高保真的心尖四切面超声心动图帧。基于 CAMUS 数据集，该方法通过 UNet 类生成器和基于补丁的 L2 对抗判别器学习确定性映射，实现与输入掩码对齐的逼真超声合成，适用于半监督学习应用。

ABSTRACT

Echocardiography (echo) is a common means of evaluating cardiac conditions. Due to the label scarcity, semi-supervised paradigms in automated echo analysis are getting traction. One of the most sought-after problems in echo is the segmentation of cardiac structures (e.g. chambers). Accordingly, we propose an echocardiogram generation approach using generative adversarial networks with a conditional patch-based discriminator. In this work, we validate the feasibility of GAN-enhanced echo generation with different conditions (segmentation masks), namely, the left ventricle, ventricular myocardium, and atrium. Results show that the proposed adversarial algorithm can generate high-quality echo frames whose cardiac structures match the given segmentation masks. This method is expected to facilitate the training of other machine learning models in a semi-supervised fashion as suggested in similar researches.

研究动机与目标

• 通过从分割掩码生成逼真的超声帧，解决超声心动图分析中的标签稀缺问题。
• 通过合成训练数据，提升心脏影像分割中的半监督学习性能。
• 验证使用条件 GAN 进行对抗性图像生成在超声心动图中的可行性。
• 探索无随机噪声的确定性图像合成方法，利用成对的真实数据。

提出的方法

• 使用基于条件补丁的 GAN，结合 UNet 类生成器和基于补丁的判别器，从分割掩码合成超声帧。
• 采用最小二乘误差（LSE）损失作为对抗项，以稳定训练并提升生成图像的保真度，优于二元交叉熵。
• 通过生成帧与真实超声帧之间的像素级平均绝对误差，应用重建损失。
• 使用 Adam 优化器，以 0.00013 和 0.00015 的学习率，端到端训练生成器和判别器。
• 采用 16×16 的基于补丁的判别策略，以增强局部真实感，并将图像补丁建模为马尔可夫随机场。
• 将生成器条件化于分割掩码（0：背景，1：左心室，2：心肌，3：心房），以引导结构特定的图像生成。

实验结果

研究问题

• RQ1 基于心脏结构的分割掩码，条件 GAN 是否能够生成逼真的心尖四切面超声心动图帧？
• RQ2 与标准 GAN 相比，使用基于补丁的判别器结合最小二乘损失是否能提升生成超声帧的质量与真实感？
• RQ3 该模型是否能在不重新训练的情况下泛化至多种心脏结构组合（例如：LV + 心肌、LV + 心房、全部三种）？
• RQ4 无噪声的确定性训练范式在多大程度上保持了结构保真度并避免了模式崩溃？
• RQ5 生成帧与输入分割掩码中指定的心脏解剖结构在多大程度上保持对齐？

主要发现

• 所提方法成功生成了高质量的心尖四切面超声帧，所有五种测试条件下均与输入分割掩码在视觉上高度对齐。
• 在不同心脏结构组合（如仅左心室、左心室+心肌、左心室+心房、全部三种）上训练的模型，均在生成帧中产生一致且解剖学上合理的结构。
• 生成器从分割掩码到超声帧的学习过程为确定性映射，表现为输出中无随机变化。
• 生成帧展现出逼真的纹理与对比度，尤其在左心室区域，与 CAMUS 数据集中真实超声图像高度相似。
• 该方法通过生成逼真的合成超声帧，实现了数据增强，证明了其在半监督学习中的可行性。
• 尽管缺乏定量指标，但定性评估确认生成图像保持了结构完整性，且在临床和训练应用中具有视觉合理性。