[論文レビュー] Combining Noise-to-Image and Image-to-Image GANs: Brain MR Image Augmentation for Tumor Detection

Changhee Han, Leonardo Rundo+6 more|arXiv (Cornell University)|Jan 1, 2019

Generative Adversarial Networks and Image Synthesis参考文献 52被引用数 16

ひとこと要約

本稿では、段階的成長生成对抗ネットワーク（PGGAN）を用いてまず高解像度（256×256）の脳MRI画像（腫瘍あり／なし）をノイズから生成し、次にマルチモーダル非教師付き画像対画像変換（MUNIT）またはSimGANを用いて画像のテクスチャーや形状を精錬する二段階のGANベースのデータ拡張フレームワークを提案する。この手法は、古典的手法と組み合わせることで腫瘍検出感度を93.67％から97.48％まで著しく向上させ、すべてのベースラインと比較して感度と実データとの分布的類似性の両面で優れている。

ABSTRACT

Convolutional Neural Networks (CNNs) achieve excellent computer-assisted diagnosis with sufficient annotated training data. However, most medical imaging datasets are small and fragmented. In this context, Generative Adversarial Networks (GANs) can synthesize realistic/diverse additional training images to fill the data lack in the real image distribution; researchers have improved classification by augmenting data with noise-to-image (e.g., random noise samples to diverse pathological images) or image-to-image GANs (e.g., a benign image to a malignant one). Yet, no research has reported results combining noise-to-image and image-to-image GANs for further performance boost. Therefore, to maximize the DA effect with the GAN combinations, we propose a two-step GAN-based DA that generates and refines brain Magnetic Resonance (MR) images with/without tumors separately: (i) Progressive Growing of GANs (PGGANs), multi-stage noise-to-image GAN for high-resolution MR image generation, first generates realistic/diverse 256 X 256 images; (ii) Multimodal UNsupervised Image-to-image Translation (MUNIT) that combines GANs/Variational AutoEncoders or SimGAN that uses a DA-focused GAN loss, further refines the texture/shape of the PGGAN-generated images similarly to the real ones. We thoroughly investigate CNN-based tumor classification results, also considering the influence of pre-training on ImageNet and discarding weird-looking GAN-generated images. The results show that, when combined with classic DA, our two-step GAN-based DA can significantly outperform the classic DA alone, in tumor detection (i.e., boosting sensitivity 93.67% to 97.48%) and also in other medical imaging tasks.

研究の動機と目的

• 脳腫瘍検出における小規模で断片的な医療画像データセットの課題に対処すること。
• 現実的で多様な合成MR画像を生成することで、畳み込みニューラルネットワーク（CNN）を用いた腫瘍分類性能を向上させること。
• ノイズから画像へのGANと画像から画像へのGANを組み合わせることで、個別のGAN手法に比べて優れたデータ拡張が得られるかどうかを検証すること。
• ImageNetでの事前学習の有無と、低品質な合成画像の除外が診断性能に与える影響を評価すること。
• 専門家による評価とt-SNE可視化を通じて、生成画像の臨床的妥当性と分布的忠実性を検証すること。

提案手法

• まず、ランダムノイズから段階的成長生成対抗ネットワーク（PGGAN）を用いて、高解像度（256×256）の脳MRI画像（腫瘍あり／なし）を生成する。
• 次に、MUNITまたはSimGANを用いてPGGANが生成した画像のテクスチャーや形状を精錬し、実画像の分布により近づける。
• PGGANによる初期画像生成と、画像対画像変換による精錬の二段階のアンサンブル生成プロセスを採用する。
• 精錬済みの合成画像を、元の画像および幾何的拡張画像と組み合わせ、二値分類器（ResNet-50）を学習させる。
• SimGANではDA指向損失を、MUNITではGAN/VAEのハイブリッド損失を適用し、リアルさと多様性を維持しながら忠実度を向上させる。
• 腫瘍検出感度、特異度、および視覚的類似性（Visual Turing Testとt-SNE）を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 腫瘍あり／なしの全脳MR画像を現実的かつ多様に生成するのに最も効果的なGANアーキテクチャは何か？
• RQ2 ノイズから画像へのGANと画像から画像へのGANを組み合わせることで、医療画像分類のためのデータ拡張がどのように向上するか？
• RQ3 ImageNetでの事前学習は、腫瘍検出におけるGANベースのデータ拡張の性能にどのような影響を与えるか？
• RQ4 低品質で「奇妙に見える」合成画像を除外することは、診断感度とモデルの汎化性能にどのように影響するか？
• RQ5 GANで生成された画像が、特にレアまたは検出が難しい腫瘍の分布的ギャップをどの程度埋められるか？

主な発見

• 二段階のGANベースのデータ拡張手法により、腫瘍検出感度が古典的手法の93.67％から97.48％まで著しく向上した。
• MUNITで精錬された画像が、SimGANおよび古典的手法を上回る最高の感度を達成した。
• ImageNetでの事前学習が行われない場合、感度が特異度を上回る結果となり、未代表的な腫瘍分布の有効なカバーが示された。
• Visual Turing Testの結果、専門家レントゲン診断医が多くのPGGAN生成画像を実画像と区別できなかったため、リアルさが裏付けられた。
• t-SNE可視化では、MUNITで精錬された合成画像が他の手法と比較して、より良いクラス分離性と実画像との分布的一致を示した。
• 「奇妙に見える」合成画像を除外することで、特にImageNetでの事前学習が行われない場合に性能が向上した。