[論文レビュー] Medical Image Synthesis with Context-Aware Generative Adversarial Networks

Dong Nie, Roger Trullo+3 more|arXiv (Cornell University)|Dec 16, 2016

Generative Adversarial Networks and Image Synthesis参考文献 16被引用数 23

ひとこと要約

本稿では、MRIスキャンからCT画像を合成するための文脈に配慮した生成対抗ネットワーク（GAN）を提案する。3Dフルコンボリューショナルジェネレータを用い、実用性を高めるために敵対的学習と画像勾配損失を活用し、文脈的理解を強化するためのオートコンテキストモデリング（ACM）を統合している。本手法は最先端の性能を達成し、脳データセットではPSNRが27.6、骨盤データセットでは34.1を記録し、既存手法を顕著に上回っている。

ABSTRACT

Computed tomography (CT) is critical for various clinical applications, e.g., radiotherapy treatment planning and also PET attenuation correction. However, CT exposes radiation during acquisition, which may cause side effects to patients. Compared to CT, magnetic resonance imaging (MRI) is much safer and does not involve any radiations. Therefore, recently, researchers are greatly motivated to estimate CT image from its corresponding MR image of the same subject for the case of radiotherapy planning. In this paper, we propose a data-driven approach to address this challenging problem. Specifically, we train a fully convolutional network to generate CT given an MR image. To better model the nonlinear relationship from MRI to CT and to produce more realistic images, we propose to use the adversarial training strategy and an image gradient difference loss function. We further apply AutoContext Model to implement a context-aware generative adversarial network. Experimental results show that our method is accurate and robust for predicting CT images from MRI images, and also outperforms three state-of-the-art methods under comparison.

研究の動機と目的

• MRIを用いた画像推定による線量フリーのCT画像生成の臨床的ニーズに対応すること。
• 構造的・テクスチャ的特徴が著しく異なるMRIからCTへのマッピングという課題に取り組むこと。
• 従来の回帰ベース手法を超えて、MRI-CT変換における画像品質と現実性を向上させること。
• 文脈に配慮した学習をオートコンテキストモデリング（ACM）を用いてGANフレームワークに統合し、長距離特徴表現を強化すること。
• 最先端の手法と比較して、定量的指標（PSNR、MAE）および定性的な現実性の両面で優れた性能を達成すること。

提案手法

• MRIパッチからCTパッチへのマッピングに、3Dフルコンボリューショナルネットワーク（FCN）をジェネレータとして用い、空間的構造と近隣情報の保持を図る。
• 生成されたCT画像の現実性を向上させるために、識別器を用いた敵対的学習を実施する。
• 微細なディテールを保持し、ぼんやりとした出力を軽減するため、画像勾配差分損失を導入する。
• オートコンテキストモデリング（ACM）を統合し、過去の予測から得られる文脈的特徴を繰り返し統合することで、予測を段階的に改善し、長距離依存性のモデリングを強化する。
• 再構成損失（L2）、敵対的損失、勾配差分損失の組み合わせを用いて、ジェネレータをエンドツーエンドで訓練する。
• 本フレームワークは、脳および骨盤のMRI-CTペアデータセットを用いて評価され、敵対的学習およびACMイテレーションのアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 敵対的学習と勾配ベース損失を有する3D GANは、従来の回帰ベース手法と比較して、より現実的で詳細なCT画像をMRIから生成できるか？
• RQ2 オートコンテキストモデリング（ACM）の統合は、MRI-CT変換におけるGANの性能と文脈認識能力をどのように向上させるか？
• RQ3 本手法は、臨床的実データセット（脳および骨盤）において、PSNRおよびMAEの観点でどの程度最先端の手法を上回るか？
• RQ4 敵対的学習と勾配損失の組み合わせは、生成されたCT画像におけるぼやけを効果的に低減し、解剖学的ディテールを保持できるか？
• RQ5 性能向上と学習効率のバランスを考慮した場合、ACMイテレーションの最適数は何か？

主な発見

• 脳データセットでは、本手法はPSNRが27.6、MAEが92.5を達成し、次善の手法（SRF+）の26.3（PSNR）、99.9（MAE）を顕著に上回った。
• 骨盤データセットでは、PSNRが34.1、MAEが39.0を記録し、最先端のSRF+手法（32.1 PSNR、48.1 MAE）を上回った。
• 視覚的比較では、本手法はベースライン手法と比較してアーティファクトが少なく、解剖学的連続性と滑らかさをよりよく保持していた。
• 敵対的学習によりぼやけが軽減され、質的分析および識別器が本物と生成画像を確実に識別できないことから、現実性が向上したことが確認された。
• ACMの繰り返し処理により、性能向上がイテレーションごとに一貫して見られ、特に最初の2回のイテレーションで最も顕著な向上が得られ、最終実験では2回のイテレーションが選択された。
• アブレーションスタディにより、敵対的損失と勾配差分損失の組み合わせが、L2損失単体よりもシャープで現実的なCT画像を生成できることを確認した。