[论文解读] Assessing Intra-class Diversity and Quality of Synthetically Generated Images in a Biomedical and Non-biomedical Setting

Muhammad Saad, Mubashir Husain Rehmani+1 more|arXiv (Cornell University)|Jul 23, 2023

Advanced Image Processing TechniquesComputer Science被引用 3

一句话总结

本研究在生物医学（X光、OCT）和非生物医学（Fashion MNIST）场景下，使用MS-SSIM、余弦距离（CD）和弗雷歇 inception 距离（FID）评估了合成图像的类内多样性与质量。结果表明，由于图像特征的显著差异，不同成像模态之间的度量值存在显著差异，而样本量对得分无显著影响，凸显了模态相关的生成对抗网络（GAN）性能与评估挑战。

ABSTRACT

In biomedical image analysis, data imbalance is common across several imaging modalities. Data augmentation is one of the key solutions in addressing this limitation. Generative Adversarial Networks (GANs) are increasingly being relied upon for data augmentation tasks. Biomedical image features are sensitive to evaluating the efficacy of synthetic images. These features can have a significant impact on metric scores when evaluating synthetic images across different biomedical imaging modalities. Synthetically generated images can be evaluated by comparing the diversity and quality of real images. Multi-scale Structural Similarity Index Measure and Cosine Distance are used to evaluate intra-class diversity, while Frechet Inception Distance is used to evaluate the quality of synthetic images. Assessing these metrics for biomedical and non-biomedical imaging is important to investigate an informed strategy in evaluating the diversity and quality of synthetic images. In this work, an empirical assessment of these metrics is conducted for the Deep Convolutional GAN in a biomedical and non-biomedical setting. The diversity and quality of synthetic images are evaluated using different sample sizes. This research intends to investigate the variance in diversity and quality across biomedical and non-biomedical imaging modalities. Results demonstrate that the metrics scores for diversity and quality vary significantly across biomedical-to-biomedical and biomedical-to-non-biomedical imaging modalities.

研究动机与目标

• 调查样本量对生物医学与非生物医学领域中合成图像类内多样性与质量度量的影响。
• 评估在X光与光学相干断层扫描（OCT）两种生物医学成像模态之间，多样性与质量度量得分的不一致性。
• 分析在比较生物医学与非生物医学成像领域中的合成图像时，评估度量得分的可变性。
• 为评估生成对抗网络（GAN）生成图像在多样化成像情境下的标准度量（MS-SSIM、CD、FID）的可靠性提供实证洞察。
• 强调固有图像特征对度量性能的影响，以指导合成生物医学数据更优的评估策略。

提出的方法

• 采用深度卷积神经网络生成对抗网络（DCGAN）在生物医学（X光、OCT）和非生物医学（Fashion MNIST）数据集中生成合成图像。
• 使用多尺度结构相似性指数度量（MS-SSIM）和余弦距离（CD）量化合成图像的类内多样性。
• 应用弗雷歇 inception 距离（FID）评估合成图像与真实图像在感知质量与分布相似性方面的表现。
• 在不同样本量（25%、50%、75%、100%）下评估度量指标，以评估其对训练数据量的敏感性。
• 在成像模态内部及跨模态比较真实图像与合成图像的度量得分，以检测性能差异。
• 分析不同图像类别与模态下的得分分布，以识别多样性与质量方面的模态特异性模式。

实验结果

研究问题

• RQ1 在生物医学与非生物医学场景下，样本量的变化如何影响合成图像的类内多样性与质量得分？
• RQ2 在X光与OCT模态中，MS-SSIM与CD得分在合成图像与真实图像之间有多大差异？
• RQ3 FID得分在不同生物医学与非生物医学图像类别之间如何变化？这些差异的成因是什么？
• RQ4 固有图像特征（如纹理、亮度、结构）对多样性与质量度量可靠性的影响力如何？
• RQ5 在评估生物医学与非生物医学成像领域中的合成图像时，度量性能是否存在系统性差异？

主要发现

• MS-SSIM与CD得分在生物医学与非生物医学图像中均未随样本量显著变化，表明度量在不同数据量下具有稳定性。
• 合成X光图像的类内多样性优于真实X光图像，表现为更高的MS-SSIM与CD得分。
• 合成OCT图像的类内多样性劣于真实OCT图像，表现为更低的MS-SSIM与CD得分，表明难以捕捉OCT的复杂特征。
• FID得分因成像模态的显著图像特征差异而存在显著差异，各类别间无一致趋势。
• MS-SSIM、CD与FID得分的分布与生物医学（X光、OCT）和非生物医学（Fashion MNIST）图像存在显著差异，反映出模态特异性特征复杂性。
• DCGAN架构在生成OCT图像时，相较于X光图像，对生成多样化与高质量图像的效果较差，原因在于OCT具有更高的特征多样性与复杂性。