[論文レビュー] Feeding the zombies: Synthesizing brain volumes using a 3D progressive growing GAN

Anders Eklund|arXiv (Cornell University)|Dec 11, 2019

Generative Adversarial Networks and Image Synthesis参考文献 24被引用数 5

ひとこと要約

本稿では、限られたデータセットから高精細なT1強調MR脳ボリュームを合成するための3次元プログレッシブグローニングGAN（3D PGAN）を提案する。データ拡張と3次元畳み込みを用いて、4×4×4から64×64×64ボクセル解像度へ段階的に訓練することで、リアルな脳ボリュームを生成するモデルが構築され、医療AIのトレーニングデータを拡張可能であり、最小限のモードクラッシュを伴いながら3次元医療画像合成の可能性を示している。

ABSTRACT

Deep learning requires large datasets for training (convolutional) networks with millions of parameters. In neuroimaging, there are few open datasets with more than 100 subjects, which makes it difficult to, for example, train a classifier to discriminate controls from diseased persons. Generative adversarial networks (GANs) can be used to synthesize data, but virtually all research is focused on 2D images. In medical imaging, and especially in neuroimaging, most datasets are 3D or 4D. Here we therefore present preliminary results showing that a 3D progressive growing GAN can be used to synthesize MR brain volumes.

研究の動機と目的

• 大規模なオープン神経画像データセットの不足に対処するため、合成脳ボリュームを生成すること。
• 2次元プログレッシブグローニングGANフレームワークを3次元医療画像に適応させ、トレーニングの安定性と画像品質を向上させること。
• 3次元PGANが限られた実際のデータから高解像度でリアルなT1強調MR脳ボリュームを生成できるかどうかを評価すること。
• 合成ボリューム生成を通じて、データ拡張とプライバシー保護型データ共有を実現すること。
• 今後の医療画像合成研究のための再現可能で柔軟な3次元GANフレームワークを提供すること。

提案手法

• 本手法は、4×4×4から64×64×64ボクセル解像度へ段階的に訓練される3次元プログレッシブグローニングGANを採用し、低解像度ボリュームから始めて徐々に複雑性を高めていく。
• 元の2次元PGAN実装におけるすべての2次元畳み込みを3次元畳み込みに置き換え、TensorFlowの操作を3次元テンソルを扱えるように拡張した。
• データ拡張として、被験者1人あたり10個のランダム3次元回転を生成し、トレーニングセットを900から9,000ボリュームに拡大した。回転は平均0°、標準偏差10°の正規分布から抽出された。
• モデルは、生成器へのノイズベクトルを入力として用い、合成ボリュームを生成する。 discriminatorは敵対的トレーニングにより、実際のボリュームと生成されたボリュームを区別する。
• NIfTIファイルI/Oは、神経画像データ形式を処理するため、nibabel Pythonパッケージを用いて実装した。
• ハイパーパrameter（学習率やミニバッチサイズなど）は解像度ごとに調整され、元の2次元PGANと比較してフィルタ数を減少（最大128）させた。

実験結果

リサーチクエスチョン

• RQ1 3次元プログレッシブグローニングGANは、高解像度でリアルなT1強調MR脳ボリュームを効果的に合成できるか？
• RQ2 低解像度から高解像度へ段階的にトレーニングすることで、3次元医療GANにおけるトレーニングの安定性と画像品質が向上するか？
• RQ3 3次元回転を用いたデータ拡張によって、神経画像向け3次元GANにおける一般化性能とモードクラッシュの低減にどの程度寄与するか？
• RQ4 3D PGANが生成する合成脳ボリュームは、下流の医療AIタスクのための実データセット拡張に有効に利用できるか？
• RQ5 3次元PGANの性能は、既存の2次元または小規模な3次元GANと比較して、全脳MRボリュームの合成においてどのように差が現れるか？

主な発見

• 3D PGANは64×64×64ボクセル解像度でリアルなT1強調MR脳ボリュームを成功裏に生成し、医療画像における3次元プログレッシブトレーニングの可能性を示した。
• 32×32×32および64×64×64解像度の合成ボリュームは、溝や回転のパターンを含む整合性のある解剖学的構造を示し、妥当な脳形態を示していた。
• 64×64×64解像度の全モデルのトレーニング時間は、Nvidia DGXステーション（4台のV100 GPU）を用いて約81時間であった。
• 複数のランダムシードからの出力が多様かつ解剖学的に妥当であることから、最小限のモードクラッシュを伴い、安定したトレーニングが達成された。
• 被験者1人あたり10個のランダム3次元回転を用いたデータ拡張（合計9,000ボリューム）により、トレーニングの安定性と生成サンプルの多様性が向上した。
• 3D PGANフレームワークはGitHubに公開され、再現可能性と今後の高解像度や他の解剖的構造への拡張が可能となった。