[論文レビュー] Learning More with Less: Conditional PGGAN-based Data Augmentation for Brain Metastases Detection Using Highly-Rough Annotation on MR Images

Changhee Han, Kohei Murao+6 more|arXiv (Cornell University)|Feb 26, 2019

AI in cancer detection参考文献 37被引用数 80

ひとこと要約

本論文では、非常に粗いバウンディングボックスのアノテーションのみを用いて、所望の位置とサイズに腫瘍を配置したリアルな多様性のある256×256脳MRI画像を生成する、条件付きプログレッシブグローニングGAN（CPGGAN）という新しいデータ拡張手法を提案する。PGGANを段階的に粗いラベルで条件づけることで、追加の正常脳MRI画像を用意しなくても、臨床的に許容できる偽陽性の増加を伴いながらも、腫瘍検出感度を10%向上させる。

ABSTRACT

Accurate Computer-Assisted Diagnosis, associated with proper data wrangling, can alleviate the risk of overlooking the diagnosis in a clinical environment. Towards this, as a Data Augmentation (DA) technique, Generative Adversarial Networks (GANs) can synthesize additional training data to handle the small/fragmented medical imaging datasets collected from various scanners; those images are realistic but completely different from the original ones, filling the data lack in the real image distribution. However, we cannot easily use them to locate disease areas, considering expert physicians' expensive annotation cost. Therefore, this paper proposes Conditional Progressive Growing of GANs (CPGGANs), incorporating highly-rough bounding box conditions incrementally into PGGANs to place brain metastases at desired positions/sizes on 256 X 256 Magnetic Resonance (MR) images, for Convolutional Neural Network-based tumor detection; this first GAN-based medical DA using automatic bounding box annotation improves the training robustness. The results show that CPGGAN-based DA can boost 10% sensitivity in diagnosis with clinically acceptable additional False Positives. Surprisingly, further tumor realism, achieved with additional normal brain MR images for CPGGAN training, does not contribute to detection performance, while even three physicians cannot accurately distinguish them from the real ones in Visual Turing Test.

研究の動機と目的

• 脳転移の検出において、限られたかつ断片的な医療画像データセットと、疎で一貫性のないアノテーションの課題に対処すること。
• 正確なセグメンテーションや良性画像の入力が不要な、リアルで多様な病理的MRI画像を生成するデータ拡張手法の開発。
• 高感度な腫瘍検出を、正常な脳MRI画像を追加で用意せず、粗いバウンディングボックスのアノテーションのみで実現すること。
• 合成画像における腫瘍のリアリズムの向上が、下流の検出性能に与える影響を評価すること。

提案手法

• CPGGANは、PGGANを拡張し、トレーニング中に非常に粗いバウンディングボックスの条件を段階的に生成器に注入することで、腫瘍の位置とサイズを制御する。
• 本手法は、完全なセグメンテーションマップではなく、バウンディングボックスマスクを条件として用いるため、所望の位置に腫瘍を配置した全脳MRI画像の生成が可能になる。
• 条件付きノイズ注入を用いて、腫瘍の形状と外観に多様性を導入しつつ、解剖学的に妥当な形状を維持する。
• 生成器は、専門放射線科医によるビジュアルチューリングテストで実画像と区別がつかないほどリアルな256×256のMRI画像を生成するようにトレーニングされる。
• T-SNE可視化を用いて、実画像と合成画像の腫瘍パッチの分布を比較し、データの多様性と分布の一致度を評価する。
• オブジェクト検出器としてYOLOv3を用い、実画像と合成画像の組み合わせをトレーニングデータとして用いて検出性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 PGGANをどのように変更すれば、非常に粗いバウンディングボックスマスクのみを用いて、ランダムな形状の腫瘍を所望の位置・サイズに自然に配置できるか？
• RQ2 粗いアノテーションを用いたGANベースのデータ拡張は、過剰な偽陽性を伴わず、検出感度を向上させることができるか？
• RQ3 専門家による評価でよりリアルな腫瘍が生成された場合、検出性能が向上するか？
• RQ4 CPGGANトレーニング時に追加の正常脳MRI画像を含めると、リアリズムと検出性能にどのような影響を与えるか？

主な発見

• CPGGANを用いたデータ拡張により、実画像のみでトレーニングされたベースラインモデルと比較して、腫瘍検出感度が10%向上した。
• 臨床的に許容できる偽陽性の増加を伴いながらも、臨床現場での実用性を示した。
• 追加の正常脳MRI画像を用いてトレーニングした場合、腫瘍の外観がよりリアルになったが、検出性能はさらに向上しなかった。これは、リアリズムそのものが検出性能を向上させないことを示唆している。
• 3名の専門放射線科医は、正常脳MRI画像を用いてトレーニングしたCPGGANで生成された腫瘍のバウンディングボックスを、ビジュアルチューリングテストで実画像と確実に区別できなかった。これは、非常に高いリアリズムを確認するものである。
• T-SNE可視化により、合成腫瘍パッチは実画像のものと中程度の類似性と補完的分布を示しており、効果的なデータ拡張が可能であることを裏付けた。
• 合成データに過剰に依存すると性能が低下したため、実画像と合成画像のバランスが、強固なトレーニングに不可欠であることが示された。