[论文解读] Correlation via synthesis: end-to-end nodule image generation and radiogenomic map learning based on generative adversarial network

Ziyue Xu, Xiaosong Wang+6 more|arXiv (Cornell University)|Jul 8, 2019

Cell Image Analysis Techniques被引用 11

一句话总结

本文提出一种多条件生成对抗网络（GAN），可端到端地从CT图像和基因表达谱中生成逼真的肺结节，通过多尺度融合图像与基因组数据。该方法生成了高保真度的合成结节，并学习到一种判别性放射基因组图谱，相较于基线方法在真实感和基因-图像相关性方面均有提升。

ABSTRACT

Radiogenomic map linking image features and gene expression profiles is useful for noninvasively identifying molecular properties of a particular type of disease. Conventionally, such map is produced in three separate steps: 1) gene-clustering to "metagenes", 2) image feature extraction, and 3) statistical correlation between metagenes and image features. Each step is independently performed and relies on arbitrary measurements. In this work, we investigate the potential of an end-to-end method fusing gene data with image features to generate synthetic image and learn radiogenomic map simultaneously. To achieve this goal, we develop a generative adversarial network (GAN) conditioned on both background images and gene expression profiles, synthesizing the corresponding image. Image and gene features are fused at different scales to ensure the realism and quality of the synthesized image. We tested our method on non-small cell lung cancer (NSCLC) dataset. Results demonstrate that the proposed method produces realistic synthetic images, and provides a promising way to find gene-image relationship in a holistic end-to-end manner.

研究动机与目标

• 为克服传统三步放射基因组映射方法的局限性，该方法将图像特征与基因表达独立处理。
• 开发一种端到端框架，联合学习图像与基因组表征，同时生成逼真的结节。
• 实现受控的、数据驱动的结节合成，其外观由潜在的基因表达谱引导。
• 证明通过GAN进行联合学习可获得比顺序独立处理更具有判别性与生物意义的基因-图像相关性。

提出的方法

• 设计了一种多条件GAN，其生成器以背景CT图像和基因表达谱作为输入，合成含结节的图像及对应的分割掩码。
• 图像与基因特征分别编码，并通过新型融合模块在多个分辨率层级上进行融合，以确保空间一致性与真实感。
• 生成器采用多判别器训练设置：全局判别器、图像专用判别器以及联合图像-分割-基因判别器，以强化真实感与一致性。
• 通过L1距离在掩码区域内计算合成图像与原始背景之间的重建损失，以保持结构完整性。
• 网络采用基于风格的条件机制，使基因表达谱调制生成器的特征图，从而实现对结节外观的精确控制。
• 训练目标结合对抗损失与重建损失，生成器损失包含图像、掩码与背景保真度的多个损失项。

实验结果

研究问题

• RQ1 基于GAN的框架能否以端到端方式联合生成逼真的肺结节并学习放射基因组相关性？
• RQ2 与标准图像修复型GAN相比，图像与基因特征的多尺度融合在提升合成结节的真实感与可控性方面有何优势？
• RQ3 通过t-SNE可视化GAN架构学习到的基因表达潜在表示（128-D）时，是否能揭示具有生物意义的聚类？
• RQ4 与传统三步流程相比，所提方法是否能产生更具判别性的基因-图像关联？
• RQ5 对基因谱型的条件控制在多大程度上实现了对合成图像中结节形态与纹理的可控生成？

主要发现

• 与基线方法相比，所提方法生成的合成结节更具真实感，背景融合更自然，结节边界处的伪影更少。
• 对学习到的基因编码（128-D）进行t-SNE可视化显示明显的聚类，表明模型捕捉到了基因空间中具有生物意义的结构。
• 相比之下，原始基因向量（5172-D）及基线方法的基因编码未表现出明显聚类，表明其表征学习效果较差。
• 模型能够将特定基因聚类与不同的图像特征（如结节形状、边界平滑度）相关联。
• 多判别器训练设置提升了图像保真度与一致性，表现为更低的重建误差与更优的对抗性能。
• 端到端框架实现了图像与基因组特征之间的直接、整体性关联，避免了传统流程中次优的特征选择与模型依赖问题。