[論文レビュー] Deep Generative Adversarial Neural Networks for Realistic Prostate Lesion MRI Synthesis

Andy Kitchen, Jarrel Seah|arXiv (Cornell University)|Aug 1, 2017

Generative Adversarial Networks and Image Synthesis参考文献 5被引用数 11

ひとこと要約

本稿では、SPIE ProstateX Challenge 2016 データセットから、リアルなマルチモodalな前立腺病変MRIパッチを合成するためのディープ畳み込み生成対抗ネットワーク（DCGAN）を提案する。330例のT2、ADC、Ktrans加重MRIパッチを用いて訓練したモデルは、テクスチャ、コントラスト、モダリティの一貫性において実データと類似した、一貫性があり多様性に富み、解剖学的に妥当な病変画像を生成する。また、滑らかな潜在空間により、病変形態間の意味のある補間が可能である。

ABSTRACT

Generative Adversarial Neural Networks (GANs) are applied to the synthetic generation of prostate lesion MRI images. GANs have been applied to a variety of natural images, is shown show that the same techniques can be used in the medical domain to create realistic looking synthetic lesion images. 16mm x 16mm patches are extracted from 330 MRI scans from the SPIE ProstateX Challenge 2016 and used to train a Deep Convolutional Generative Adversarial Neural Network (DCGAN) utilizing cutting edge techniques. Synthetic outputs are compared to real images and the implicit latent representations induced by the GAN are explored. Training techniques and successful neural network architectures are explained in detail.

研究の動機と目的

• 深層生成モデルを用いて、リアルで多様性に富み、解剖学的に妥当な前立腺病変MRI画像を生成すること。
• GANを医療画像分野に応用する可能性を検討し、特に匿名化データの合成とデータ拡張の分野での応用を目的とする。
• 統合的な生成フレームワーク内で、T2、ADC、Ktransの複数モダリティにおける合成MRIパッチの品質を評価すること。
• 生成器が学習する暗黙の潜在表現が、前立腺病変形態にどのような情報を含んでいるかを調査すること。
• GANが限られた訓練データでも高精細な合成医療画像を生成できることを実証すること。

提案手法

• 16mm × 16mm のパッチを330例の前立腺MRIスキャンから抽出し、T2、ADC、Ktransの3つの整合されたモダリティを用いて、ディープ畳み込みGAN（DCGAN）を訓練した。
• 生成器は、ランダムノイズベクトルを3チャンネル画像出力へアップサンプリングするために、逆畳み込み（transpose convolution）とLeaky ReLU活性化関数、バッチ正規化を用いた。
• 識別器は、ストライド付き畳み込み、グローバル平均プーリング、ドロップアウト、ガウスノイズ注入を用い、勾配伝搬を改善して本物対偽物画像の分類を実施した。
• モデルはミニマックス損失目的関数を用い、生成器はその出力が偽物と識別されないよう、識別器の信頼度を最小化するように訓練され、識別器は本物と偽物を正しく識別するように訓練された。
• 15,000イテレーションにわたり、バッチサイズ200で、生成器と識別器のパラメータを交互に更新するためのスプリングボードAdam最適化戦略を採用した。
• すべての入力モダリティは[0,1]に正規化され、生成器は同時に3つのMRIコントラストを出力するため、生成出力におけるモダリティの一貫性が保証された。

実験結果

リサーチクエスチョン

• RQ1 GANベースのモデルは、実データと見分けがつかないようなリアルでマルチモダリティな前立腺病変MRIパッチを生成できるか？
• RQ2 生成器の暗黙の潜在空間が、前立腺病変形態の有意義な変動をどれほど的確に捉えているか？
• RQ3 限られた実データで訓練された場合でも、生成器は一貫性があり、解剖学的に妥当なマルチコントラストMRI出力を生成できるか？
• RQ4 医療画像分野における安定なGAN訓練に不可欠なトレーニング技術とアーキテクチャ的選択は何か？
• RQ5 本モデルが生成する合成MRIデータは、医療研究におけるデータ拡張や匿名化データ共有をどの程度支援できるか？

主な発見

• GANは、T2、ADC、Ktransモダリティのすべてにおいて、テクスチャ、コントラスト、構造的詳細の面で実際の病変と類似した視覚的にリアルな合成MRIパッチを生成した。
• モデルは一貫性のあるマルチモダリティ出力を生成した：明るいKtrans領域は一貫して暗いADC領域と対をなしており、生物学的に妥当な関係を反映している。
• 潜在空間（Z）における線形補間により、異なる病変形態間で滑らかで妥当な変化が得られ、良好に構造化され有意義な潜在表現が学習されていることが示された。
• 訓練中、識別器は本物と偽物を高い信頼度で識別できたが、生成器は次第に偽物と識別されにくくなるように学習した。
• 330例の訓練スキャンしか使用しなかったにもかかわらず、モデルは多様性に富み高精細な出力を生成した。これは、限られたデータからでも強力な一般化性能を示している。
• 識別器におけるバッチ正規化、Leaky ReLU、ドロップアウト、ガウスノイズ注入の使用が、訓練の安定性と出力品質を著しく向上させた。