[論文レビュー] Generative Image Translation for Data Augmentation in Colorectal Histopathology Images

Jerry Wei, Arief A. Suriawinata+5 more|PubMed|Oct 13, 2019

Generative Adversarial Networks and Image Synthesis参考文献 26被引用数 49

ひとこと要約

CycleGANを用いて正常な結腸粘膜を腺腫性ポリープ画像に翻訳し、データ拡張のためにPath-Rank-Filterを使用する。病理医によるチューリングテストで生成画像が実画像に似ていることが示され、CycleGANによる拡張はSSA検出のAUCを10%以上向上させる。

ABSTRACT

We present an image translation approach to generate augmented data for mitigating data imbalances in a dataset of histopathology images of colorectal polyps, adenomatous tumors that can lead to colorectal cancer if left untreated. By applying cycle-consistent generative adversarial networks (CycleGANs) to a source domain of normal colonic mucosa images, we generate synthetic colorectal polyp images that belong to diagnostically less common polyp classes. Generated images maintain the general structure of their source image but exhibit adenomatous features that can be enhanced with our proposed filtration module, called Path-Rank-Filter. We evaluate the quality of generated images through Turing tests with four gastrointestinal pathologists, finding that at least two of the four pathologists could not identify generated images at a statistically significant level. Finally, we demonstrate that using CycleGAN-generated images to augment training data improves the AUC of a convolutional neural network for detecting sessile serrated adenomas by over 10%, suggesting that our approach might warrant further research for other histopathology image classification tasks.

研究の動機と目的

• 正常粘膜から合成腺腫性画像を生成して結腸直腸ポリープ病理組織のデータ不均衡を緩和する。
• 生成画像内の腺腫様特徴を強化するためにPath-Rank-Filterを導入する。
• 病理医のチューリングテストを用いて生成画像の現実性を評価する。
• CycleGAN生成データを用いたSSA検出における分類器の性能向上を示す。

提案手法

• CycleGANを適用して正常な結腸粘膜（X）を腺腫性ポリープクラス（Y）に翻訳する。
• 事前学習済み分類器に基づいてY画像の上位分数を選択して、CycleGANの訓練に用いるPath-Rank-Filterを導入する。
• 臨床機関から結腸直腸ポリープ画像データセットを収集・注釈し、分類タスクにResNet-18を用いる。
• 病理医によるチューリングテストを通じて生成画像の品質を評価する。
• CycleGAN生成画像でトレーニングデータを拡張した場合と他のGANとを比較して分類器の性能向上を評価する。

実験結果

リサーチクエスチョン

• RQ1 Can CycleGAN-based image translation generate realistic adenomatous colorectal polyp images from normal mucosa?
• RQ2 Does Path-Rank-Filter enhance adenomatous features in CycleGAN-generated images?
• RQ3 Do pathologists have difficulty distinguishing generated images from real ones?
• RQ4 Do CycleGAN-generated images improve CNN classifier performance for detecting sessile serrated adenomas?

主な発見

Polyp Class	α=1	α=1/2	α=1/4	α=1/8	α=1/16	α=1/32
TA	35.4	64.4	79.6	87.6	89.2	93.8
TVA	32.7	67.3	49.4	63.1	85.9	86.1
SSA	37.0	20.9	21.5	38.5	23.4	43.7

• Path-Rank-Filter substantially enhanced adenomatous features for TA and TVA when generating images, with up to 93.8% of synthetic TA images classified as TA at α=1/32.
• In Turing tests, at least two of four pathologists could not distinguish generated vs real images for TA and SSA at statistical significance.
• CycleGAN-generated images augmented training data to improve SSA detection AUC by over 10% compared to DCGAN and DiscoGAN baselines.
• ResNet trained with CycleGAN-generated SSA images achieved higher AUC than models trained with other generated data or real data alone.
• Training with CycleGAN-generated images yields better classifier performance than using generated images from alternative models.
• SSA augmentation with CycleGAN achieved 0.89 AUC when combined with real data, whereas SSA-only synthetic training performed worse (0.68).