[論文レビュー] Infinite Brain MR Images: PGGAN-based Data Augmentation for Tumor Detection

Changhee Han, Leonardo Rundo+5 more|arXiv (Cornell University)|Mar 29, 2019

Brain Tumor Detection and Classification被引用数 5

ひとこと要約

本論文では、腫瘍検出の向上を目的として、高解像度（256×256）の合成対比増強T1強調脳MRI画像を生成するPGGANベースのデータ拡張手法を提案する。プログレッシブグローニング訓練を活用することで、実データの分布ギャップを埋める現実的で多様な画像を生成し、古典的手法と組み合わせることで腫瘍検出精度が1.02%向上した。

ABSTRACT

Due to the lack of available annotated medical images, accurate computer-assisted diagnosis requires intensive Data Augmentation (DA) techniques, such as geometric/intensity transformations of original images; however, those transformed images intrinsically have a similar distribution to the original ones, leading to limited performance improvement. To fill the data lack in the real image distribution, we synthesize brain contrast-enhanced Magnetic Resonance (MR) images---realistic but completely different from the original ones---using Generative Adversarial Networks (GANs). This study exploits Progressive Growing of GANs (PGGANs), a multi-stage generative training method, to generate original-sized 256 X 256 MR images for Convolutional Neural Network-based brain tumor detection, which is challenging via conventional GANs; difficulties arise due to unstable GAN training with high resolution and a variety of tumors in size, location, shape, and contrast. Our preliminary results show that this novel PGGAN-based DA method can achieve promising performance improvement, when combined with classical DA, in tumor detection and also in other medical imaging tasks.

研究の動機と目的

• 脳腫瘍検出におけるアノテート済み医療画像データの不足を解消するため、現実的で合成されたMRI画像を生成すること。
• 古典的手法によるデータ拡張の限界を克服し、元の画像と類似した分布を持つサンプルを生成するための限界的なパフォーマンス向上を実現すること。
• GANを用いて、高解像度（256×256）、現実的で多様な脳MRI画像（腫瘍および非腫瘍特徴を明確に含む）を生成する手法を開発すること。
• 実験的評価および医師による評価を通じて、PGGANで生成された画像がCNNベースの腫瘍検出性能を向上させることの有効性を検証すること。
• ビジュアルチューリングテストおよびt-SNE可視化を用いて、合成画像の現実性と診断的正確性を検討すること。

提案手法

• 画像解像度を4×4から256×256へ段階的に向上させるプログレッシブグローニングを活用したGAN（PGGAN）を用い、高解像度脳MRI画像の訓練を安定化させる生成ネットワークの訓練を行う。
• 実際の対比増強T1強調脳MRI画像のデータセット上でGANを訓練し、生成器が実画像の分布に一致する現実的な画像を合成するように学習する。
• 各解像度段階で実画像と合成画像を区別する2ストリームディスクリミネーター構造を採用し、訓練の安定性と画像品質を向上させる。
• PGGANで生成された合成画像を古典的手法（幾何変換および強度変換）と組み合わせ、トレーニングセットを拡張し、モデルの汎化性能を向上させる。
• 専門放射線科医によるビジュアルチューリングテストを通じて、画像の現実性および腫瘍特徴の正確性を評価し、実画像と合成画像、および腫瘍画像と非腫瘍画像の区別が可能かどうかを検証する。
• t-SNE可視化を用いて、実画像、拡張済み画像、および合成画像の特徴空間分布を分析し、クラス分離性および分布整合性を評価する。

実験結果

リサーチクエスチョン

• RQ1 PGGANは、高解像度（256×256）の脳MRI画像を現実的かつ腫瘍および非腫瘍特徴を明確に保持した形で生成できるか？
• RQ2 古典的手法によるデータ拡張と比較して、PGGANベースのデータ拡張は、CNNベースの脳腫瘍検出モデルの性能を向上させるか？
• RQ3 専門放射線科医によるビジュアルチューリングテストを通じて、生成画像は実医用画像と比較してどれほど現実的か？
• RQ4 合成画像は、元のデータまたは古典的手法で拡張されたデータではカバーされていない実画像の分布ギャップをどの程度埋めているか？
• RQ5 画像の現実性および特徴の正確性は、腫瘍検出モデルの汎化性能および耐性にどのような影響を与えるか？

主な発見

• PGGANベースのデータ拡張手法は、古典的手法と組み合わせた場合、腫瘍検出のテスト精度が1.02%向上した。
• 単独で使用した場合、PGGANで生成された画像は性能を低下させた（特異性が6.84%に低下）、これは分類器が合成アーティファクトを腫瘍と誤認識したためであり、単体での使用では現実性が低いことが示された。
• 医師はビジュアルチューリングテストで90.5%の正答率を示し、合成画像が腫瘍の存在や組織コントラストといった主要な診断的特徴を効果的に保持していることを示した。
• 医師は18%の腫瘍画像（うち13%の合成腫瘍画像）を非腫瘍と誤分類したため、合成画像にまだ曖昧または現実的でない特徴が残っており、診断の信頼性に影響を及ぼしている可能性がある。
• t-SNE可視化の結果、PGGANで生成された画像は実画像とは明確に異なるクラスタを形成しており、腫瘍および非腫瘍クラス間の重複度が高いため、クラス分離性が明確でなく、分布シフトの兆候が見られた。
• 現実性に限界はあったが、PGGANで生成された画像と古典的手法によるデータ拡張の組み合わせにより、実画像分布のこれまでカバーされていなかった領域をカバーし、モデルの汎化性能が向上した。