[论文解读] Generative Image Translation for Data Augmentation of Bone Lesion Pathology

Anant Gupta, Srivas Venkatesh+2 more|arXiv (Cornell University)|Feb 6, 2019

AI in cancer detection参考文献 18被引用 30

一句话总结

本文提出一种循环一致性生成对抗网络（CycleGAN），用于在正常X光图像上合成逼真的骨病灶，以解决罕见骨病理性分类中的数据稀缺与类别不平衡问题。通过将无病灶区域转换为类似病灶的区域并将其无缝融合回完整图像，该方法显著提升了分类器性能，在使用肱骨训练模型进行迁移学习时，股骨分类的AUC最高提升了15%。

ABSTRACT

Insufficient training data and severe class imbalance are often limiting factors when developing machine learning models for the classification of rare diseases. In this work, we address the problem of classifying bone lesions from X-ray images by increasing the small number of positive samples in the training set. We propose a generative data augmentation approach based on a cycle-consistent generative adversarial network that synthesizes bone lesions on images without pathology. We pose the generative task as an image-patch translation problem that we optimize specifically for distinct bones (humerus, tibia, femur). In experimental results, we confirm that the described method mitigates the class imbalance problem in the binary classification task of bone lesion detection. We show that the augmented training sets enable the training of superior classifiers achieving better performance on a held-out test set. Additionally, we demonstrate the feasibility of transfer learning and apply a generative model that was trained on one body part to another.

研究动机与目标

• 解决在X光图像中分类罕见骨病灶时面临的严重类别不平衡与训练数据有限的挑战。
• 开发一种数据增强策略，可在正常解剖结构上合成逼真且具有病理特异性的病灶。
• 通过利用在某一骨骼（如肱骨）上训练的生成模型，实现迁移学习，以增强其他骨骼（如胫骨、股骨）的数据，尤其在样本不足的情况下。
• 通过基于分类器置信度的伪标签自动筛选高质量合成病灶，以提升下游模型性能。

提出的方法

• 将病灶生成建模为一个使用共享潜在空间的CycleGAN框架的无监督图像到图像翻译任务，该空间连接正常与病灶区域的特征表示。
• 训练编码器与生成器，将无病灶区域映射到共享潜在表示，并从该表示中重建出病灶区域。
• 采用alpha混合方法，将生成的病灶区域无缝整合到原始完整X光图像中，以保持解剖真实感。
• 使用基线分类器对生成图像进行伪标签预测，仅将置信度分数高于阈值t的样本纳入增强后的训练集。
• 在验证集上优化阈值t，以在合成样本的质量与数量之间取得平衡。
• 通过将肱骨训练的生成模型应用于胫骨与股骨，实现迁移学习，即使在数据稀缺导致无法训练专用模型的情况下，也能生成病灶。

实验结果

研究问题

• RQ1 生成式图像翻译能否有效在正常X光图像上合成逼真的骨病灶，以缓解罕见病理性分类中的数据稀缺问题？
• RQ2 当使用合成生成的病灶数据进行训练时，下游分类器的性能提升程度如何？
• RQ3 在数据有限或噪声较多的情况下，一个在某一解剖部位（如肱骨）上训练的生成模型，能在多大程度上迁移到其他部位（如胫骨、股骨）生成病灶？
• RQ4 为最大化分类器性能并避免引入低质量样本，伪标签合成图像的最优阈值是什么？

主要发现

• 当使用t=0.9的伪标签阈值时，该方法在肱骨测试集上实现了AUC的统计显著提升，从0.876提升至0.924，增幅达5%。
• 在胫骨上，使用基于胫骨的生成模型时，AUC实现了约2%的微小但稳定的提升；当结合来自肱骨的基线分类器进行迁移学习时，AUC提升了8%。
• 在股骨上，由于数据多样性与稀缺性，训练专用生成模型不可行，但通过从肱骨模型迁移学习，AUC相比基线分类器显著提升了15%。
• 性能对伪标签阈值（t）敏感，最优性能分别在肱骨上达到t=0.9、股骨上达到t=0.95，表明超参数调优至关重要。
• 消融实验表明，过多或过少的合成数据均会损害性能，强调了基于置信度过滤的质量控制必要性。
• 结果表明，迁移学习可使数据增强在训练数据有限的解剖部位上依然有效，显著拓展了生成模型在低资源医学影像场景中的应用潜力。