[论文解读] Generative Image Translation for Data Augmentation in Colorectal Histopathology Images

Jerry Wei, Arief A. Suriawinata+5 more|PubMed|Oct 13, 2019

Generative Adversarial Networks and Image Synthesis参考文献 26被引用 49

一句话总结

使用 CycleGAN 将正常结肠粘膜转化为腺瘤性息肉图像，并使用 Path-Rank-Filter 来增强数据；病理学家通过图灵测试表明生成图像与真实图像相似，CycleGAN 增强在 SSA 检出 AUC 提升超过10%。

ABSTRACT

We present an image translation approach to generate augmented data for mitigating data imbalances in a dataset of histopathology images of colorectal polyps, adenomatous tumors that can lead to colorectal cancer if left untreated. By applying cycle-consistent generative adversarial networks (CycleGANs) to a source domain of normal colonic mucosa images, we generate synthetic colorectal polyp images that belong to diagnostically less common polyp classes. Generated images maintain the general structure of their source image but exhibit adenomatous features that can be enhanced with our proposed filtration module, called Path-Rank-Filter. We evaluate the quality of generated images through Turing tests with four gastrointestinal pathologists, finding that at least two of the four pathologists could not identify generated images at a statistically significant level. Finally, we demonstrate that using CycleGAN-generated images to augment training data improves the AUC of a convolutional neural network for detecting sessile serrated adenomas by over 10%, suggesting that our approach might warrant further research for other histopathology image classification tasks.

研究动机与目标

• 通过从正常粘膜生成合成的腺瘤性图像来缓解结直肠息肉组织病理学中的数据不平衡。
• 引入 Path-Rank-Filter 以增强生成图像中的腺瘤性特征。
• 通过病理学家图灵测试评估生成图像的真实度。
• 证明在检测无柄腺瘤样腺瘤（sessile serrated adenomas, SSA）时，CycleGAN 生成的数据可提升分类器性能。

提出的方法

• 将 CycleGAN 应用于将正常结肠粘膜（X）转换为腺瘤性息肉类别（Y）。
• 引入 Path-Rank-Filter，基于预训练分类器选择 Y 图像的前若干分数以训练 CycleGAN。
• 从临床来源收集并标注结直肠息肉图像数据集；在分类任务中使用 ResNet-18。
• 通过病理学家进行图灵测试来评估生成图像质量。
• 评估在用 CycleGAN 生成的图像扩充训练数据时，与其他GAN相比的分类器性能提升。

实验结果

研究问题

• RQ1 基于 CycleGAN 的图像翻译是否能够从正常粘膜生成真实的腺瘤性结直肠息肉图像？
• RQ2 Path-Rank-Filter 是否在 CycleGAN 生成的图像中增强腺瘤性特征？
• RQ3 病理学家是否难以将生成图像与真实图像区分开？
• RQ4 CycleGAN 生成的图像是否提高用于检测无柄腺瘤样腺瘤的卷积神经网络分类器性能？

主要发现

Polyp Class	α=1	α=1/2	α=1/4	α=1/8	α=1/16	α=1/32
TA	35.4	64.4	79.6	87.6	89.2	93.8
TVA	32.7	67.3	49.4	63.1	85.9	86.1
SSA	37.0	20.9	21.5	38.5	23.4	43.7

• Path-Rank-Filter 在生成 TA 与 TVA 图像时显著增强了腺瘤性特征，在 α=1/32 时，最高可将合成 TA 图像的 93.8% 分类为 TA。
• 在图灵测试中，四名病理学家中至少两名在 TA 和 SSA 的生成图像与真实图像之间无法以统计显著性区分。
• CycleGAN 生成的图像扩充训练数据，使 SSA 检测的 AUC 相较 DCGAN 和 DiscoGAN 基线提升超过 10%。
• 用 CycleGAN 生成的 SSA 图像训练的 ResNet 获得的 AUC 高于用其他生成数据或仅用真实数据训练的模型。
• 以 CycleGAN 生成的图像进行训练的分类器性能优于使用来自其他模型的生成图像进行训练的情况。
• 与真实数据结合时，CycleGAN 的 SSA 扩充达到 0.89 的 AUC，而仅 SSA 合成训练表现较差（0.68）。