[論文レビュー] Synthesizing brain tumor images and annotations by combining progressive growing GAN and SPADE

Mehdi Foroozandeh, Anders Eklúnd|arXiv (Cornell University)|Sep 13, 2020

AI in cancer detection被引用数 12

ひとこと要約

本稿では、プログレッシブグロービングGAN（PGAN）とSPADEを組み合わせた2段階のGANフレームワークを提案し、実際の3D脳腫瘍MR画像とそのマルチクラスセグメンテーションアノテーションを合成する。まず、ノイズから画像へのPGANを用いて腫瘍マップを生成し、その後、画像から画像へのSPADEを用いてそれらを解剖学的に妥当なMR画像に変換することで、トレーニングデータの多様性を向上させ、BraTS 2018でわずかだが測定可能なセグメンテーション性能の向上が得られた。

ABSTRACT

Training segmentation networks requires large annotated datasets, but manual annotation is time consuming and costly. We here investigate if the combination of a noise-to-image GAN and an image-to-image GAN can be used to synthesize realistic brain tumor images as well as the corresponding tumor annotations (labels), to substantially increase the number of training images. The noise-to-image GAN is used to synthesize new label images, while the image-to-image GAN generates the corresponding MR image from the label image. Our results indicate that the two GANs can synthesize label images and MR images that look realistic, and that adding synthetic images improves the segmentation performance, although the effect is small.

研究の動機と目的

• 脳腫瘍セグメンテーションのための大型でアノテート済みの医療画像データセットの不足に対処すること。
• GANベースのデータ合成が、医療画像セグメンテーションにおけるディープラーニングモデルの一般化性能を向上させられるかどうかを検討すること。
• まず実際の腫瘍アノテーションを生成し、その後それに該当するMR画像を合成する2段階のGANパイプラインを開発すること。
• BraTS 2018ベンチマークを用いて、合成データの影響をセグメンテーションネットワークの性能評価すること。
• ノイズから画像へのGANと画像から画像へのGANを段階的に組み合わせることで、マルチクラス脳腫瘍セグメンテーションが可能かどうかを検討すること。

提案手法

• 7クラス（腫瘍の亜構造および正常脳組織を含む）の2次元セグメンテーションマスクを合成するノイズから画像へのプログレッシブグロービングGAN（PGAN）を訓練する。
• 合成されたセグメンテーションマスクを条件として、T1強化MR画像をリアルな形状に生成する画像から画像へのSPADEベースのGANを訓練する。
• 2つのGANを段階的なパイプラインとして使用：PGANがラベルマップを生成し、それをSPADE GANの入力として供給し、対応するMR画像を出力する。
• 合成された画像-マスクペアを、210個の3次元ボリューム（各155枚の軸方向スライス）を含む実際のBraTS 2018トレーニングセットに統合してデータオーキュレーションに使用する。
• 正規化およびクラスウェイトは、合成サンプルを含む全トレーニングセットを対象に計算する。
• 性能評価は、実際のBraTSテストセットにおけるDice類似係数（DSC）を用い、合成データを含む・含まないの両方のモデルを比較する。

実験結果

リサーチクエスチョン

• RQ1 2段階のGANフレームワークは、実際の脳腫瘍MR画像とそのマルチクラスセグメンテーションアノテーションを効果的に合成できるか？
• RQ2 このGANパイプラインで生成された合成画像を含めることで、ディープラーニングベースのセグメンテーションモデルの性能が向上するか？
• RQ3 脳腫瘍セグメンテーションの文脈において、合成データによる性能向上は、標準的なデータオーキュレーション技術と比較してどの程度か？
• RQ4 正規化およびクラスウェイトを実データと合成データの混合トレーニングセット上で計算した場合、合成データの導入がモデルの一般化性能および検証指標に与える影響は何か？
• RQ5 PGANとSPADEの組み合わせは、解剖学的に妥当で臨床的に関連性のある腫瘍分布を持つ合成画像を生成できるか？

主な発見

• 提案された2段階のGANフレームワークは、多様な腫瘍パターンと解剖学的構造を有する、実際の脳腫瘍MR画像とそのマルチクラスセグメンテーションマスクを効果的に生成した。
• 高視覚的フィデリティで、リアルな腫瘍形状、空間的分布、および組織コントラストを有する合成画像-マスクペアが生成された。
• 合成データの導入により、BraTS 2018テストセットにおけるセグメンテーション性能に測定可能な、ただし限定的な向上が得られた。
• 向上は、腫瘍亜型の全般にわたりわずかだが一貫したDice類似係数の上昇として観察されたが、正確なパーセンテージの増加は結果に記載されていなかった。
• 正規化およびクラスウェイトを全トレーニングセット（合成サンプルを含む）上で計算することで、合成データを限られた医療データセットに追加しても顕著な分布シフトを引き起こさないことが示された。
• わずかな性能向上であったが、本フレームワークは、多様で解剖学的に妥当かつ臨床的に関連性のある合成脳腫瘍データを、セグメンテーショントレーニングに使用可能であることを実証した。