[論文レビュー] Learning More with Less: GAN-based Medical Image Augmentation

Changhee Han, Kohei Murao+2 more|arXiv (Cornell University)|Mar 29, 2019

Generative Adversarial Networks and Image Synthesis参考文献 14被引用数 11

ひとこと要約

本稿では、限られたアノテート済みデータセットの課題に対処するため、医療画像向けにGANベースのデータ拡張フレームワークを提案する。本手法は、分類、検出、セグメンテーションの分野でCNNの性能を向上させる、現実的で多様な合成画像を生成する。弱いアノテート済みバウンディングボックスを用いることで、臨床的に許容できる誤検出率を維持しながら、脳転移巣の検出感度を10%向上させ、ノイズの多いアノテーション下でも頑健であることが示された。

ABSTRACT

Convolutional Neural Network (CNN)-based accurate prediction typically requires large-scale annotated training data. In Medical Imaging, however, both obtaining medical data and annotating them by expert physicians are challenging; to overcome this lack of data, Data Augmentation (DA) using Generative Adversarial Networks (GANs) is essential, since they can synthesize additional annotated training data to handle small and fragmented medical images from various scanners--those generated images, realistic but completely novel, can further fill the real image distribution uncovered by the original dataset. As a tutorial, this paper introduces GAN-based Medical Image Augmentation, along with tricks to boost classification/object detection/segmentation performance using them, based on our experience and related work. Moreover, we show our first GAN-based DA work using automatic bounding box annotation, for robust CNN-based brain metastases detection on 256 x 256 MR images; GAN-based DA can boost 10% sensitivity in diagnosis with a clinically acceptable number of additional False Positives, even with highly-rough and inconsistent bounding boxes.

研究の動機と目的

• 深層学習モデルの学習に必要な限られた医療画像のアノテート済みデータの課題に対処すること。
• 現実的で多様な合成医療画像を生成するGANベースのデータ拡張技術を開発すること。
• 最小限の弱いアノテート済みデータを用いて、医療画像分類、オブジェクト検出、セグメンテーションの性能を向上させること。
• 臨床現場で一般的に見られる低品質なバウンディングボックスアノテーション下での手法の頑健性を評価すること。
• 臨床的実用性を示すために、許容可能な誤検出率の増加を伴いながらも顕著な感度向上を達成すること。

提案手法

• 小規模で断片的な医療画像データセット上で、条件付きGANを訓練して現実的な合成画像を生成する。
• 生成をガイドするため、弱いまたはノイズの多いバウンディングボックスアノテーションを条件として用いる。
• 合成画像は、実際のデータの分布に一致させつつ、新たな現実的な変異を導入する。
• 実画像と合成画像を組み合わせた拡張データセットを用いて、分類や検出などの下流タスク向けにCNNを微調整する。
• 高い画像忠実度と多様性を確保するため、サイクル整合性と敵対的訓練を活用する。
• 脳転移巣を含む256×256のT1強調MR脳画像を用い、弱いバウンディングボックスアノテーションで検証した。

実験結果

リサーチクエスチョン

• RQ1 限られたアノテート済みデータのもとで、GANベースのデータ拡張がCNNの医療画像解析性能を顕著に向上させられるか？
• RQ2 訓練データが乏しく、アノテーションがノイズや一貫性のない状況下でも、GANベースの拡張はどれほど有効か？
• RQ3 誤検出率が著しく上昇しない範囲で、合成データは脳転移巣検出の感度をどの程度向上させられるか？
• RQ4 GAN学習時に弱いアノテート済みバウンディングボックスを用いても、臨床的に有用な合成データが得られるか？
• RQ5 生成された合成画像は、元のデータセットではカバーされていない実データ分布のギャップを効果的に埋めることができるか？

主な発見

• 提案されたGANベースのデータ拡張手法により、脳転移巣の検出感度がベースラインモデルと比較して10%向上した。
• 性能向上は、臨床的に許容できる範囲での誤検出数の増加を伴って達成された。
• 条件付けに用いたバウンディングボックスアノテーションが非常に粗く一貫性がなくても、本手法は依然として有効であった。
• GANが生成した合成画像は現実的で多様であり、元の小規模データセットをはるかに超えるデータ分布の拡張に効果的に寄与した。
• 弱い監視下でも頑健であることが示され、限られたアノテーション品質の臨床データにも実用的であることがわかった。
• 結果から、GANベースの拡張は医療画像AIにおけるデータ効率の障壁を顕著に低減できる可能性があると示唆された。