[論文レビュー] MRI to PET Cross-Modality Translation using Globally and Locally Aware GAN (GLA-GAN) for Multi-Modal Diagnosis of Alzheimer's Disease

Apoorva Sikka, Skand+3 more|arXiv (Cornell University)|Aug 4, 2021

Cell Image Analysis Techniques被引用数 23

ひとこと要約

本論文では、アルツハイマー病（AD）の多モodal診断を向上させるために、構造的MRIスキャンからフルオロデオキシグルコース（FDG）PETスキャンを合成する新しいGANベースのフレームワーク、GLA-GANを提案する。グローバルな構造的認識とローカルなテクスチャモデリングを、マルチパスアーキテクチャを介して統合し、敵対的損失、L1損失、MS-SSSIM損失、およびROIベースの損失を組み合わせることで、最先端の手法よりも顕著に高い忠実度のPET画像を生成する。その結果、AD分類精度が著しく向上する。

ABSTRACT

Medical imaging datasets are inherently high dimensional with large variability and low sample sizes that limit the effectiveness of deep learning algorithms. Recently, generative adversarial networks (GANs) with the ability to synthesize realist images have shown great potential as an alternative to standard data augmentation techniques. Our work focuses on cross-modality synthesis of fluorodeoxyglucose~(FDG) Positron Emission Tomography~(PET) scans from structural Magnetic Resonance~(MR) images using generative models to facilitate multi-modal diagnosis of Alzheimer's disease (AD). Specifically, we propose a novel end-to-end, globally and locally aware image-to-image translation GAN (GLA-GAN) with a multi-path architecture that enforces both global structural integrity and fidelity to local details. We further supplement the standard adversarial loss with voxel-level intensity, multi-scale structural similarity (MS-SSIM) and region-of-interest (ROI) based loss components that reduce reconstruction error, enforce structural consistency at different scales and perceive variation in regional sensitivity to AD respectively. Experimental results demonstrate that our GLA-GAN not only generates synthesized FDG-PET scans with enhanced image quality but also superior clinical utility in improving AD diagnosis compared to state-of-the-art models. Finally, we attempt to interpret some of the internal units of the GAN that are closely related to this specific cross-modality generation task.

研究の動機と目的

• PET画像のアクセス制限という課題に対処し、MRIからFDG-PETスキャンのクロスモodal合成を可能にすること。
• 合成されたPET画像の臨床的有用性を高め、正確なアルツハイマー病（AD）診断を実現すること。
• クロスモーダル変換において、グローバルな解剖学的構造と微細な局所組織ディテールの両方を保持する生成モデルを開発すること。
• ボクセルレベルの強度、構造的類似性、および領域別感度を組み込んだマルチコンponent損失関数を通じて、画像の忠実度と診断的関連性を向上させること。
• GANの内部表現を解釈し、AD病態に関連する生物学的に意味のある特徴を同定すること。

提案手法

• MRIからPETへの変換において、大規模な解剖学的構造と微細なテクスチャを同時にモデル化できる、グローバルおよびローカルの生成器ブランチを別々に持つマルチパスGANアーキテクチャを提案する。
• 敵対的損失、L1（ボクセルレベル強度）損失、マルチスケール構造的類似性（MS-SSSIM）損失、および領域別感度（ROI）に基づく損失を組み合わせた損失関数を導入し、構造的・文脈的忠実度を向上させる。
• グローバル生成器を用いて脳全体の形態を保持し、サブネットワークを備えたローカル生成器で特定脳領域内の詳細なテクスチャパターンを捉える。
• 複数スケールで実画像および生成画像を評価するディスクラミネータを採用し、リアルな出力品質を保証する。
• モデルの汎化性能をテストし、診断クラス間で生成されたPETの遷移が滑らかであるかを評価するために、MRI空間における線形補間を実施する。
• 内部ユニットの可視化を実施し、GANの内部表現を解釈し、例えば小脳扁桃部のような、診断的に重要な脳領域を同定する。

実験結果

リサーチクエスチョン

• RQ1 GANベースのフレームワークは、アルツハイマー病診断のための高忠実度のFDG-PETスキャンをMRIスキャンから効果的に合成できるか？
• RQ2 生成器アーキテクチャにグローバルおよびローカル認識を組み込むことで、合成されたPET画像の品質と診断的有用性が向上するか？
• RQ3 L1、MS-SSSIM、ROIなどのマルチ損失コンポonentが、生成されたPET画像における構造的一致性とAD病態への領域感受性をどの程度向上させるか？
• RQ4 GANの内部特徴マップを解釈することで、AD進行に関連する生物学的に意味のある脳領域を同定できるか？
• RQ5 線形補間による生成画像の遷移が滑らかであることで、モデルが診断クラス全体にわたり良好に汎化していると示唆されるか？

主な発見

• GLA-GANは、定量的指標と視覚的検証を通じて、最先端の手法よりも優れた画像品質の合成FDG-PETスキャンを生成する。
• MS-SSSIMおよびROIベースの損失の導入により、特にADの進行が早期に影響を受けるとされる小脳扁桃部のような領域において、構造的一致性と領域感受性が顕著に向上する。
• 特徴可視化により、グローバル生成器の特定の内部ユニットが、小脳におけるFDG取り込みの差異といったAD関連パターンと強く関連していることが明らかになった。
• MRI空間における線形補間により、生成されたPETスキャンにアーティファクトがなく滑らかな遷移が得られ、モデルが訓練サンプルを記憶するのではなく、元のデータ分布を学習していることが示された。
• 合成されたPETスキャンを用いた場合、正常認知とアルツハイマー病を分類する精度が向上し、臨床的有用性が向上していることが示された。
• アーキテクチャの複雑さにもかかわらず、補間中の分類信頼度の変化が徐々に推移することから、モデルはクラス全体にわたり良好に汎化していることが示された。