[论文解读] General-to-Detailed GAN for Infrequent Class Medical Images

Tatsuki Koga, Naoki Nonaka+2 more|arXiv (Cornell University)|Nov 28, 2018

Generative Adversarial Networks and Image Synthesis参考文献 12被引用 8

一句话总结

本文提出通用到详细生成对抗网络（GDGAN），一种两阶段生成对抗网络框架，首先利用通用标签（如性别）生成多样化的医学图像，然后通过疾病特异性详细标签（如心脏扩大）进行精细化优化。GDGAN在数据增强中显著提升了罕见医学类别分类性能，在NIH胸部X光数据集中，针对心脏扩大类别的AUC达到最高值0.8207。

ABSTRACT

Deep learning has significant potential for medical imaging. However, since the incident rate of each disease varies widely, the frequency of classes in a medical image dataset is imbalanced, leading to poor accuracy for such infrequent classes. One possible solution is data augmentation of infrequent classes using synthesized images created by Generative Adversarial Networks (GANs), but conventional GANs also require certain amount of images to learn. To overcome this limitation, here we propose General-to-detailed GAN (GDGAN), serially connected two GANs, one for general labels and the other for detailed labels. GDGAN produced diverse medical images, and the network trained with an augmented dataset outperformed other networks using existing methods with respect to Area-Under-Curve (AUC) of Receiver Operating Characteristic (ROC) curve.

研究动机与目标

• 解决医学影像数据集中类别不平衡的问题，即罕见疾病缺乏足够的训练样本。
• 克服传统生成对抗网络在罕见类别上生成有意义样本时对大量真实数据的依赖。
• 开发一种方法，为罕见疾病类别合成高质量、多样化的医学图像，以提升下游分类性能。
• 探索一种分层生成策略，先学习通用解剖特征，再添加疾病特异性病理特征。

提出的方法

• GDGAN采用两个串联的生成对抗网络：第一阶段基于通用标签（如性别、投照位置）生成图像，第二阶段添加疾病特异性详细标签（如心脏扩大）。
• 第一阶段生成对抗网络采用带梯度惩罚的Wasserstein生成对抗网络（WGAN）和类别对数似然损失，以确保生成图像的多样性和正确标签分布。
• 第二阶段生成对抗网络结合WGAN损失、通用标签与详细标签的类别对数似然损失，以及输入图像与生成图像之间的均方误差损失，以保证重建保真度。
• 模型采用两阶段训练：先训练通用生成对抗网络，再使用第一阶段输出作为输入训练详细生成对抗网络。
• 数据增强通过将真实罕见类别图像替换为GDGAN生成的合成图像实现，随后使用这些图像重新训练VGGNet-19分类器。
• 评估指标包括用于衡量图像多样性的Inception分数，以及在NIH胸部X光数据集上的分类性能AUC（受试者工作特征曲线下面积）。

实验结果

研究问题

• RQ1 两阶段生成对抗网络框架能否有效生成针对罕见疾病类别的多样化且逼真的医学图像？
• RQ2 相较于单阶段生成对抗网络，分层生成通用特征后添加详细病理特征是否能提升合成医学图像的质量与多样性？
• RQ3 GDGAN生成的图像能否提升深度学习模型在罕见疾病分类任务中的性能？
• RQ4 在罕见疾病检测的AUC指标上，GDGAN相较于传统数据增强技术（如过采样、欠采样）表现如何？

主要发现

• GDGAN生成的图像Inception分数为2.3220，显著高于真实数据集的2.1258（p = 4.3748e-16），表明其图像多样性更优。
• 尽管GDGAN的Inception分数（2.3220）低于ACGAN（2.7716），但GDGAN在下游分类任务中表现更优。
• 使用GDGAN增强数据训练的VGGNet-19分类器在心脏扩大类别上达到最高平均AUC（0.8207），优于原始数据集（0.8074）及其他增强方法。
• GDGAN的AUC标准差（0.0066）在所有方法中最低，表明其训练过程具有更高的稳定性和可复现性。
• GDGAN在AUC上优于过采样和基于ACGAN的增强方法，相较第二好的方法（ACGAN：0.7963）实现1.3%的绝对提升。
• 结果表明，GDGAN通过为罕见疾病类别生成高质量、多样化的合成图像，有效缓解了数据不平衡问题。