[論文レビュー] Semi-Supervised Learning of Mutually Accelerated MRI Synthesis without Fully-Sampled Ground Truths

Mahmut Yurt, Salman Ul Hassan Dar+4 more|arXiv (Cornell University)|Nov 29, 2020

Radiomics and Machine Learning in Medical Imaging参考文献 63被引用数 6

ひとこと要約

本稿では、完全にスキャンされた基底画像に依存せずに、元のコントラストおよびターゲットコントラストの両方の不完全スキャンk-spaceデータから高品質なMRIコントラストを直接合成する半教師付き生成的対抗ネットワーク、ssGANを提案する。ランダムなサンプリングマスクを用いた画像、k-space、対抗ドメインにおけるマルチコイルテンソル損失を活用することで、高加速要因（最大R=10）でも完全教師ありモデルと同等の性能を達成し、段階的再構成・合成パイプラインを上回る。

ABSTRACT

Learning-based synthetic multi-contrast MRI commonly involves deep models trained using high-quality images of source and target contrasts, regardless of whether source and target domain samples are paired or unpaired. This results in undesirable reliance on fully-sampled acquisitions of all MRI contrasts, which might prove impractical due to limitations on scan costs and time. Here, we propose a novel semi-supervised deep generative model that instead learns to recover high-quality target images directly from accelerated acquisitions of source and target contrasts. To achieve this, the proposed model introduces novel multi-coil tensor losses in image, k-space and adversarial domains. These selective losses are based only on acquired k-space samples, and randomized sampling masks are used across subjects to capture relationships among acquired and non-acquired k-space regions. Comprehensive experiments on multi-contrast neuroimaging datasets demonstrate that our semi-supervised approach yields equivalent performance to gold-standard fully-supervised models, while outperforming a cascaded approach that learns to synthesize based on reconstructions of undersampled data. Therefore, the proposed approach holds great promise to improve the feasibility and utility of accelerated MRI acquisitions mutually undersampled across both contrast sets and k-space.

研究の動機と目的

• 長時間のスキャンと高コストのため、マルチコントラスト合成に必要な完全にスキャンされた高品質なMRIデータを取得することが現実的でないことを解決する。
• 深層学習ベースのMRI合成において、ペアで完全にスキャンされた元コントラストおよびターゲットコントラスト画像に依存することを減らす。
• 完全教師ありモデルと同等の合成品質を維持しながら、不完全スキャンk-spaceデータにのみ基づいて学習する半教師付き学習フレームワークを開発する。
• 段階的パイプラインによる誤差伝搬を回避し、加速スキャンからのターゲットコントラスト回復をエンドツーエンドで学習可能にする。
• 訓練に完全にスキャンされたペアのデータを用いずに、ロバストなMRI合成モデルを学習可能であることを実証する。

提案手法

• 元コントラストおよびターゲットコントラストの両方の不完全スキャンk-spaceデータに直接学習する、新しい半教師付きGANフレームワークであるssGANを提案する。
• 入手したk-spaceサンプルにのみ依存する、画像、k-space、対抗ドメインにおけるマルチコイルテンソル損失を導入する。
• 被験者間でランダムなサンプリングマスクを用いて、取得されたk-space領域と取得されない領域の関係をモデル化する。
• コイル結合画像のプロジェクションと選択的損失関数を用いて、合成中に空間的およびコントラスト固有の忠実度を保持する。
• 対抗訓練を用いた条件付きGAN設定により、合成画像の知覚的品質および構造的詳細を向上させる。
• 不完全スキャンデータからの損失関数のみを用いてジェネレータとディスクラミネータを同時に最適化することで、エンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 完全にスキャンされた基底画像を必要とせずに、高品質なMRIコントラスト合成を達成できるか？
• RQ2 不完全スキャンデータに学習する半教師付きGANフレームワークが、完全教師ありモデルと同等の性能を達成できるか？
• RQ3 ランダムなk-spaceサンプリングマスクを用いることで、一般化性能および高周波数成分の回復が向上するか？
• RQ4 不完全スキャンデータからのエンドツーエンド学習は、中間再構成を含む段階的アプローチと比べてどのように異なるか？
• RQ5 提案手法は、限られた訓練データで高加速要因（例：R=10）においても性能を維持できるか？

主な発見

• ssGANは、完全にスキャンされた元データを必要とするゴールスタンダードな完全教師ありモデル（例：pix2pix）と同等の合成性能を達成する。
• 中間再構成を含む段階的パイプライン（CasGAN）よりも優れた性能を示す。これは誤差伝搬の低減と計算複雑度の低さによる。
• ターゲットコントラストにおいてR=10までの高加速要因でもほぼ最適な性能を維持し、データおよびスキャン時間の要件を顕著に削減する。
• 選択的マルチコイルテンソル損失とランダムk-spaceマスキングを活用することで、高不完全スキャンに強く、ロバストである。
• わずかなサイズのデータセットでも効果的な学習が可能であるため、高いデータ効率性を示す。
• 損失関数およびネットワークアーキテクチャのチャネルワイドな拡張により、マルチコントラストおよびクロスモodalitiy合成タスクへの拡張が可能である。