[論文レビュー] Bidirectional Mapping Generative Adversarial Networks for Brain MR to PET Synthesis

Shengye Hu, Baiying Lei+4 more|arXiv (Cornell University)|Aug 8, 2020

Generative Adversarial Networks and Image Synthesis参考文献 40被引用数 5

ひとこと要約

本稿では、3次元エンドツーエンドフレームワークとして、双方向マッピング機構を用いて画像の文脈と潜在ベクトルを同時に最適化することで、MRスキャンからリアルで多様な脳PET画像を合成する、Bidirectional Mapping Generative Adversarial Networks (BMGAN) を提案する。この手法は、定量的指標、視覚的品質、診断分類性能の面で、最先端のクロスモodal合成モデルを上回る性能を発揮した。

ABSTRACT

Fusing multi-modality medical images, such as MR and PET, can provide various anatomical or functional information about human body. But PET data is always unavailable due to different reasons such as cost, radiation, or other limitations. In this paper, we propose a 3D end-to-end synthesis network, called Bidirectional Mapping Generative Adversarial Networks (BMGAN), where image contexts and latent vector are effectively used and jointly optimized for brain MR-to-PET synthesis. Concretely, a bidirectional mapping mechanism is designed to embed the semantic information of PET images into the high dimensional latent space. And the 3D DenseU-Net generator architecture and the extensive objective functions are further utilized to improve the visual quality of synthetic results. The most appealing part is that the proposed method can synthesize the perceptually realistic PET images while preserving the diverse brain structures of different subjects. Experimental results demonstrate that the performance of the proposed method outperforms other competitive cross-modality synthesis methods in terms of quantitative measures, qualitative displays, and classification evaluation.

研究の動機と目的

• 臨床現場におけるコスト、被曝線量、および限られた可用性のため、PET画像データの不足を解消する。
• ぼやけたまたは多様性に欠ける合成PET画像を生成する既存のGANベースの手法の限界を克服する。
• 合成PET画像に被験者固有の脳構造的多様性を保持することで、診断的関連性を高める。
• 高度な生成モデルを用いて、MRからPETへの変換における知覚的リアルリズムと定量的正確性を向上させる。
• 合成PET画像が、後続の臨床分類タスクにおいて効果的に利用可能であることを実証する。

提案手法

• PETの意味的事前知識を潜在空間に埋め込むために、双方向マッピング機構を用いた3次元エンドツーエンドのBMGANフレームワークを提案し、MRからPETへの画像合成を実行する。
• 階層的な空間特徴を捉え、再構成品質を向上させるために、3次元DenseU-Netジェネレータアーキテクチャを採用する。
• 敵対的損失、サイクル整合性損失、知覚的損失を含む広範な目的関数を統合し、視覚的リアリズムと構造的忠実性を向上させる。
• 潜在空間におけるソース（MR）とターゲット（PET）ドメインの間で相互最適化を可能にする双方向マッピング戦略を採用し、特徴の分離と多様性を向上させる。
• 解剖学的整合性を保証するため、ADNIデータベースの一部を用いて、ペアドMRおよびPETスキャンでモデルを学習する。
• 合成PET画像の診断的有用性を評価するために、二値分類タスク（アルツハイマー病対正常）における事前学習済みVGG-16分類器を活用する。

実験結果

リサーチクエスチョン

• RQ1 GANベースのフレームワークは、脳MRスキャンから知覚的にリアルで構造的に多様なPET画像を生成できるか？
• RQ2 標準的なGANと比較して、双方向潜在空間マッピングは、合成PET画像の多様性と解剖学的忠実性をどのように向上させるか？
• RQ3 合成PET画像は、異なる被験者間で被験者固有の脳構造をどの程度保持しているか？
• RQ4 合成PET画像は、アルツハイマー病分類などの後続の診断タスクで競争力のある性能を達成できるか？
• RQ5 提案されたBMGANは、既存の最先端のクロスモダリティ合成手法と定量的および定性的に比較して、どのように差をつけるか？

主な発見

• 提案されたBMGANは、最小の平均絶対誤差（MAE）と最大のピークノイズ比（PSNR）を達成し、優れた画像再構成品質を示した。
• BMGANは、最高のマルチスケール構造的類似度（MS-SSIM）と最小のフレシェインセプション距離（FID）を達成し、生成されたPET画像の高い構造的忠実性と多様性を示した。
• 3D FCN、GAN、cGAN、CycleGANといった既存のモデルと比較して、定性的な視覚的比較において優れた性能を発揮し、合成画像が実際のPETスキャンに類似していた。
• 差分マップは最小限のアーティファクトと一貫した強度パターンを示し、正確な空間アライメントと構造的保存を確認した。
• 二値分類タスク（AD対正常）において、BMGANが生成した合成PET画像は、最大の受信器操作特性曲線下積分（AUC）を達成し、診断的関連性を裏付けた。
• 結果から、BMGANが、実際のPETデータが限られる臨床応用分野において、効果的なデータ拡張ツールとして機能できることを確認した。