[論文レビュー] GAN Augmentation: Augmenting Training Data using Generative Adversarial Networks

Christopher Bowles, Liang Chen+8 more|arXiv (Cornell University)|Oct 25, 2018

Generative Adversarial Networks and Image Synthesis参考文献 18被引用数 359

ひとこと要約

本論文は、GAN由来の合成データが脳画像のセグメンテーション性能を向上させ得ることを示しており、実データのラベルが乏しい場合に特に効果的で、Dice Similarity Coefficientの利得はCTおよびMRタスク全般で約1–5パーセンテージポイント。

ABSTRACT

One of the biggest issues facing the use of machine learning in medical imaging is the lack of availability of large, labelled datasets. The annotation of medical images is not only expensive and time consuming but also highly dependent on the availability of expert observers. The limited amount of training data can inhibit the performance of supervised machine learning algorithms which often need very large quantities of data on which to train to avoid overfitting. So far, much effort has been directed at extracting as much information as possible from what data is available. Generative Adversarial Networks (GANs) offer a novel way to unlock additional information from a dataset by generating synthetic samples with the appearance of real images. This paper demonstrates the feasibility of introducing GAN derived synthetic data to the training datasets in two brain segmentation tasks, leading to improvements in Dice Similarity Coefficient (DSC) of between 1 and 5 percentage points under different conditions, with the strongest effects seen fewer than ten training image stacks are available.

研究の動機と目的

• ラベル付きデータが高価で入手が難しい医用画像分野におけるデータ拡張の動機づけ。
• GAN生成の合成パッチがセグメンテーションネットワークのトレーニングデータを拡張できるかを調査する。
• GAN拡張が異なるセグメンテーションアーキテクチャやデータセットに対してどのような影響を与えるかを評価する。
• 従来の拡張と相互作用を評価し、利点を得るためのデータ量の閾値を決定する。

提案手法

• Progressive Growing GANs（PGGAN）を用いて画像パッチとセグメンテーションラベルの結合分布をモデリングする。
• 実画像+ラベルの80kパッチでGANを学習させ、データのマニホールドを学習する。
• GANから合成パッチをサンプルし、80kの実パッチを増強してセグメンテーションネットワークの訓練に用いる。
• CT CSFおよびMR WMHタスクで、UNet、UResNet、DeepMedicの3つのセグメンテーションネットワークで評価する。
• 実データ量と合成データ量を変化させ、Dice類似係数（DSC）への影響を調べる。
• GAN拡張を回転拡張と比較し、拡張の組み合わせを検討する。

実験結果

リサーチクエスチョン

• RQ1 セグメンテーションネットワークのアーキテクチャはGAN拡張の恩恵に影響を与えるか。
• RQ2 GAN拡張は回転拡張とどのように比較されるか。
• RQ3 合成データ量は性能にどのように影響するか。
• RQ4 利用可能な実データ量はGAN拡張の恩恵にどのように影響するか。
• RQ5 GAN拡張は異なるデータセットやモダリティ（CT/MR）に対して一般化できるか。

主な発見

• GAN拡張は多くのケースで控えめだが有意なDSCの改善をもたらす。
• 実データが最も不足している場合に最大の利得が生じる；MRでの利得は一部の状況で非常に低いデータ量でのみ頭打ちする。
• CTでは合成データによる劣化は観察されず; MRでは合成データが多すぎると性能がわずかに低下する可能性がある転換点が示唆される。
• GAN拡張と従来の拡張を併用すると、それぞれ単独よりも大きな利点を生む可能性があり、相乗効果を示唆する。
• GANは訓練セットと異なる合成画像を生成しつつ臨床的に妥当であり、元のサンプルを超えた分散の補間を可能にする。