[論文レビュー] Progressively Volumetrized Deep Generative Models for Data-Efficient Contextual Learning of MR Image Recovery

Mahmut Yurt, Muzaffer Özbey+4 more|arXiv (Cornell University)|Nov 27, 2020

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

本稿では、3次元MRI再構成を軸方向、冠状方向、矢状方向の順次2次元断面マッピングに分解するプログレッシブボリューメトリゼーションフレームワーク、ProvoGANを提案する。ボリュームモデルの文脈的強みと2次元学習のデータ効率性を組み合わせることで、ProvoGANはモデル複雑性が低く、訓練の挙動が改善されたまま、MRI再構成および合成において最先端の性能を達成する。

ABSTRACT

Magnetic resonance imaging (MRI) offers the flexibility to image a given anatomic volume under a multitude of tissue contrasts. Yet, scan time considerations put stringent limits on the quality and diversity of MRI data. The gold-standard approach to alleviate this limitation is to recover high-quality images from data undersampled across various dimensions, most commonly the Fourier domain or contrast sets. A primary distinction among recovery methods is whether the anatomy is processed per volume or per cross-section. Volumetric models offer enhanced capture of global contextual information, but they can suffer from suboptimal learning due to elevated model complexity. Cross-sectional models with lower complexity offer improved learning behavior, yet they ignore contextual information across the longitudinal dimension of the volume. Here, we introduce a novel progressive volumetrization strategy for generative models (ProvoGAN) that serially decomposes complex volumetric image recovery tasks into successive cross-sectional mappings task-optimally ordered across individual rectilinear dimensions. ProvoGAN effectively captures global context and recovers fine-structural details across all dimensions, while maintaining low model complexity and improved learning behaviour. Comprehensive demonstrations on mainstream MRI reconstruction and synthesis tasks show that ProvoGAN yields superior performance to state-of-the-art volumetric and cross-sectional models.

研究の動機と目的

• 3次元ボリュームネットワークにおける文脈的モデリングと2次元断面モデルにおけるデータ効率性のトレードオフを解消すること。
• 3次元生成モデルにおける高いモデル複雑性とデータ要求の限界を克服すること。
• ボリュームタスクを最適化された2次元サブタスクに逐次分解することで、学習挙動の向上と構造的詳細の回復を実現すること。
• モデル複雑性やメモリ要件を増加させることなく、すべての次元にわたる効果的な文脈学習を可能にすること。

提案手法

• 直交する方向（軸方向、冠状方向、矢状方向）に沿って、3次元ボリュームを段階的に処理するプログレッシブボリューメトリゼーション戦略を導入し、それぞれに専用の2次元生成モデルを用いる。
• 各2次元モデルを、元のボリュームから抽出された断面で学習させ、1段階目の出力を次の段階の入力として用い、段階的に全3次元ボリュームを再構成する。
• 各2次元マッピングに条件付き生成対抗ネットワーク（cGAN）フレームワークを採用し、高精度な画像合成と再構成を実現する。
• 解剖的文脈に基づく適応的再順序付けを可能とするように、方向の進行順序を最適化する。
• モデル並列化を用いて、エンドツーエンドのプログレッシブパイプラインを訓練し、性能と特徴の一貫性を向上させる。
• 収束性と一般化性能の向上を図るため、事前学習済み2次元モデルを初期化や転移学習に活用する。

実験結果

リサーチクエスチョン

• RQ1 3次元MRI再構成を2次元断面マッピングにプログレッシブに分解することで、標準的な2次元モデルよりも優れた文脈的モデリングが達成可能か？ また、モデル複雑性は低く保たれるか？
• RQ2 複数の直交方向に沿った逐次処理は、単一方向の2次元モデルや全3次元モデルと比較して、再構成性能を向上させるか？
• RQ3 プログレッシブボリューメトリゼーション戦略は、縦断的スライス間の整合性と微細構造の回復をどの程度向上させるか？
• RQ4 異方的または厚いスライスの取得条件下でも、ProvoGANは異なるデータ量や解像度においてどの程度の性能を示すか？

主な発見

• ProvoGANは、脳および膝のMRIデータセットにおいて、3次元ボリュームモデルおよび断面モデルの両方で最先端の性能を示した。
• 特に微細な解剖的詳細の回復において、ベースラインの3次元および2次元モデルと比較して、構造的類似性（SSIM）およびピークサイナリオ比（PSNR）が優れている。
• 2次元サブタスクへの分解のおかげで、全3次元ボリュームを処理してもモデル複雑性が低く、訓練の挙動が改善された。
• プログレッシブアプローチにより、誤差伝播が軽減され、縦断的スライス間の一貫性が向上し、独立した断面処理で生じやすいアーティファクトが軽減された。
• 等方的またはほぼ等方的な解像度のデータセットでは性能向上が顕著に現れたが、異方的取得でも依然として利点が確認された。
• T1、T1c、T2、FLAIRなど、さまざまなMRIコントラストタイプにわたり、多様な取得プロトコルに強く、汎用性の高さを示した。