[論文レビュー] JoJoNet: Joint-contrast and Joint-sampling-and-reconstruction Network for Multi-contrast MRI

Lin Zhao, Xiaohong Chen+5 more|arXiv (Cornell University)|Oct 22, 2022

Medical Imaging Techniques and Applications被引用数 7

ひとこと要約

JoJoNetは、再帰的再構成ネットワークと学習可能な加速比を用いてコントラスト間相関を活用することで、k-spaceサンプリング、マルチコントラストMRI再構成、および下流タスクの性能を統合的に最適化するエンドツーエンドのディーブラーニングフレームワークを提案する。脳および膝のマルチコントラストMRIデータセットにおいて、単一コントラストベースラインと比較して優れた画像品質と下流タスクの精度を達成した。

ABSTRACT

Multi-contrast Magnetic Resonance Imaging (MRI) generates multiple medical images with rich and complementary information for routine clinical use; however, it suffers from a long acquisition time. Recent works for accelerating MRI, mainly designed for single contrast, may not be optimal for multi-contrast scenario since the inherent correlations among the multi-contrast images are not exploited. In addition, independent reconstruction of each contrast usually does not translate to optimal performance of downstream tasks. Motivated by these aspects, in this paper we design an end-to-end framework for accelerating multi-contrast MRI which simultaneously optimizes the entire MR imaging workflow including sampling, reconstruction and downstream tasks to achieve the best overall outcomes. The proposed framework consists of a sampling mask generator for each image contrast and a reconstructor exploiting the inter-contrast correlations with a recurrent structure which enables the information sharing in a holistic way. The sampling mask generator and the reconstructor are trained jointly across the multiple image contrasts. The acceleration ratio of each image contrast is also learnable and can be driven by a downstream task performance. We validate our approach on a multi-contrast brain dataset and a multi-contrast knee dataset. Experiments show that (1) our framework consistently outperforms the baselines designed for single contrast on both datasets; (2) our newly designed recurrent reconstruction network effectively improves the reconstruction quality for multi-contrast images; (3) the learnable acceleration ratio improves the downstream task performance significantly. Overall, this work has potentials to open up new avenues for optimizing the entire multi-contrast MR imaging workflow.

研究の動機と目的

• マルチコントラスト環境における単一コントラストMRI加速手法の限界、すなわちコントラスト間相関が十分に活用されていない点を解決すること。
• 統一されたフレームワーク内で複数のコントラストにわたるk-spaceサンプリング、画像再構成、および下流タスクの性能を統合的に最適化すること。
• 下流タスクのニーズに応じてサンプリングリソースを動的に割り当てる、各コントラストごとの学習可能な加速比を可能にすること。
• 再帰的再構成アーキテクチャを用いてマルチコントラストMR画像間の解剖学的および時間的相関を活用することで、再構成品質を向上させること。
• 実際のマルチコントラストMRIデータセットを用いて、画像再構成および下流タスクの両面で統合的コントラスト最適化の有効性を実証すること。

提案手法

• コントラスト固有のサンプリングマスク生成器と、コントラスト間依存関係をモデル化する共有の再帰的再構成ネットワーク（HRU-Net）を備えたデュアルストリームアーキテクチャを採用する。
• サンプリングマスク生成器は、各コントラストごとに非一様なk-spaceサンプリングパターンを学習し、コントラストごとに異なる加速比を割り当てられる。
• HRU-Netブロックは再帰的構造を用い、反復的に再構成を改善することで、コントラスト間での情報共有を促進し、再構成の忠実度を向上させる。
• 全体のフレームワークは、再構成損失と下流タスク損失（例：T2*マップ精度）を組み合わせた共同損失を用いてエンドツーエンドで訓練される。
• 各コントラストごとの加速比は微分可能であり、訓練中に最適化されるため、モデルは下流タスクのパフォーマンス向上に寄与するデータ量を学習できる。
• 固定加速比と学習可能な加速比の両方をサポートしており、後者はタスクの関連性に応じてk-spaceのサンプリングを動的に割り当てる。

実験結果

リサーチクエスチョン

• RQ1 複数のMRIコントラストにわたるサンプリング、再構成、および下流タスクの性能を統合的に最適化することで、全体の画像品質およびタスク精度が向上するか？
• RQ2 マルチコントラストMRIにおけるコントラスト間相関は、サンプリングおよび再構成戦略の設計にどのように影響を与えるか？
• RQ3 各コントラストごとに学習可能な加速比を用いることで、固定加速比を上回る性能が得られるか、特に下流タスクにおいて顕著か？
• RQ4 コントラスト間で情報を共有する再帰的再構成ネットワークは、独立型または非再帰的設計と比較して、より優れた画像品質を達成できるか？
• RQ5 本手法のフレームワークは、マルチコントラストデータセットにおいて単一コントラストMRI加速手法と比較して、どのように差をつけるか？

主な発見

• JoJoNetは、脳および膝のマルチコントラストMRIデータセットにおいて、単一コントラストベースラインを上回り、再構成において高いPSNRおよびSSIMを達成した。
• 脳データセットでは、学習可能な加速比を用いた場合、PSNRが13.81 dB、SSIMが0.8123を達成した。一方、固定2倍加速ではPSNRが9.99 dB、SSIMが0.6311であった。
• 学習可能な加速比によりT2*マップ合成の精度が向上し、PSNRが20.12 dB、SSIMが0.9263を達成した。固定2倍加速ではPSNRが18.67 dB、SSIMが0.8939であった。
• JoJoNetが学習したサンプリングマスクは、高周波数k-space領域に密度が高くなる傾向を示しており、コントラスト間情報のより効果的な活用を示している。
• HRU-Netブロックの数を増やすことで再構成品質が向上し、3ブロックで性能が飽和し、品質と計算量の最適なトレードオフが得られた。
• モデルはT2*マッピングにおいてコントラスト1および5に高いサンプリングレートを割り当てており、指数関数的減衰モデルへの適合においてそれらがより重要であることに合致している。