[论文解读] MammoGANesis: Controlled Generation of High-Resolution Mammograms for Radiology Education

Cyril Zakka, Ghida Saheb+2 more|arXiv (Cornell University)|Oct 11, 2020

AI in cancer detection参考文献 22被引用 7

一句话总结

本文提出MammoGANesis，一种基于StyleGAN2的生成对抗网络，可生成具有全局（如体位、乳腺密度）与局部（如钙化、肿块）属性解耦控制的高分辨率（512×512）乳腺X线图像。在四位专家放射科医生参与的双盲测试中，模型平均AUC为0.54，表明生成图像在视觉上与真实图像无法区分，展现出在放射学教育和合成数据生成方面的强大潜力。

ABSTRACT

During their formative years, radiology trainees are required to interpret hundreds of mammograms per month, with the objective of becoming apt at discerning the subtle patterns differentiating benign from malignant lesions. Unfortunately, medico-legal and technical hurdles make it difficult to access and query medical images for training. In this paper we train a generative adversarial network (GAN) to synthesize 512 x 512 high-resolution mammograms. The resulting model leads to the unsupervised separation of high-level features (e.g. the standard mammography views and the nature of the breast lesions), with stochastic variation in the generated images (e.g. breast adipose tissue, calcification), enabling user-controlled global and local attribute-editing of the synthesized images. We demonstrate the model's ability to generate anatomically and medically relevant mammograms by achieving an average AUC of 0.54 in a double-blind study on four expert mammography radiologists to distinguish between generated and real images, ascribing to the high visual quality of the synthesized and edited mammograms, and to their potential use in advancing and facilitating medical education.

研究动机与目标

• 解决因医疗法律和隐私限制导致的放射学教育中可访问的高质量乳腺X线图像数据稀缺问题。
• 开发一种能够生成逼真、高分辨率（512×512）乳腺X线图像且具备可控解耦属性的生成模型。
• 实现用户对图像全局（如体位、乳腺密度）和局部（如钙化、肿块）特征的可控编辑，以用于教育目的。
• 通过四位专家放射科医生参与的双盲研究，评估生成乳腺X线图像的视觉保真度，以评估其真实感与临床相关性。

提出的方法

• 在AUBMC提供的52张去标识化真实乳腺X线图像数据集上训练了基于风格的生成对抗网络（StyleGAN2），并获得机构审查委员会（IRB）批准。
• 利用StyleGAN2的解耦潜在空间，通过W潜在空间的主成分分析，实现对全局属性（如MLO体位、乳腺密度）的独立控制。
• 通过操纵生成网络中的特定层实现局部编辑，以改变钙化、肿块等特征，同时保持解剖一致性。
• 采用截断重参数化方法以稳定生成过程并提升样本质量，所有样本的截断值设为0.65。
• 生成了31张合成图像和17张编辑后的图像，构成最终评估数据集。
• 组织了一场由四位专家放射科医生参与的双盲视觉图灵测试，以评估真实感，包括二分类任务和图像辨别任务。

实验结果

研究问题

• RQ1 生成对抗网络能否生成512×512分辨率的乳腺X线图像，使其在视觉上与真实临床图像无法区分，甚至对专家放射科医生也难以辨别？
• RQ2 在生成的乳腺X线图像中，全局和局部图像属性（如体位、乳腺密度、钙化）在多大程度上可实现解耦并独立编辑？
• RQ3 该模型在受控且逼真的方式下，模拟罕见或复杂病理特征（如微钙化、肿块）的效率如何？
• RQ4 在由经验丰富的放射科医生参与的双盲评估中，生成的乳腺X线图像是否能被可靠地区分于真实图像？

主要发现

• 该模型成功生成了具有多样化解剖和病理特征的512×512乳腺X线图像，未表现出模式崩溃的迹象。
• 在二分类任务中，四位专家放射科医生的平均AUC为0.54，表明其在区分真实图像与生成图像方面表现不优于随机猜测。
• 放射科医生2的AUC为0.74，而放射科医生3和4的表现低于随机水平（AUC < 0.5），凸显了专家判断的个体差异。
• 在图像辨别任务中，平均持续时间为5.75轮，大多数放射科医生在连续三次错误回答后未能识别出生成图像。
• 放射科医生2持续了14轮，表明部分个体在长时间仔细观察后可检测到伪影或不一致性。
• 尽管在离散属性（如“CC”与“MLO”体位）的连续潜在空间映射方面存在挑战，模型仍生成了视觉连贯且具有医学合理性的乳腺X线图像。