[論文レビュー] Deep multi-modal aggregation network for MR image reconstruction with auxiliary modality

Chun-Mei Feng, Huazhu Fu+4 more|arXiv (Cornell University)|Oct 15, 2021

Medical Imaging Techniques and Applications被引用数 7

ひとこと要約

本稿では、完全にスキャンされた補助的MRモodalitiy（例：T1強調）を用いて、アンダーサンプルされたk-spaceデータからターゲットモダリティ（例：T2強調）の高精度再構成を支援する、深層マルチモーダル集約ネットワークMARIOを提案する。階層的・マルチスケールのアテンション機構とT1ガイドド特徴統合を採用することで、IXIおよびfastMRIデータセットにおいて優れたアーチファクト抑制と画像品質を達成し、NMSE、PSNR、SSIMの指標で最先端の手法を上回る性能を示した。

ABSTRACT

Magnetic resonance (MR) imaging produces detailed images of organs and tissues with better contrast, but it suffers from a long acquisition time, which makes the image quality vulnerable to say motion artifacts. Recently, many approaches have been developed to reconstruct full-sampled images from partially observed measurements to accelerate MR imaging. However, most approaches focused on reconstruction over a single modality, neglecting the discovery of correlation knowledge between the different modalities. Here we propose a Multi-modal Aggregation network for mR Image recOnstruction with auxiliary modality (MARIO), which is capable of discovering complementary representations from a fully sampled auxiliary modality, with which to hierarchically guide the reconstruction of a given target modality. This implies that our method can selectively aggregate multi-modal representations for better reconstruction, yielding comprehensive, multi-scale, multi-modal feature fusion. Extensive experiments on IXI and fastMRI datasets demonstrate the superiority of the proposed approach over state-of-the-art MR image reconstruction methods in removing artifacts.

研究の動機と目的

• MRIスキャン時間の延長と運動アーチファクトの課題に取り組み、k-spaceのアンダーサンプルを用いた画像取得を高速化することで、臨床的画像診断を改善すること。
• T1とT2のようなMRシーケンス間のクロスモダリティ相関を無視する単一モダリティ再構成手法の限界を克服すること。
• 完全にスキャンされた補助モダリティ（例：T1）を活用し、階層的で補完的な特徴表現を学習することで、ターゲットモダリティ（例：T2）の再構成を支援する手法を開発すること。
• チャネルワイドおよび空間ワイドに重要な特徴を強調するアテンション機構を用いて、選択的でマルチスケールのマルチモーダル特徴統合を可能にし、画像品質を向上させること。
• モダリティ固有の特徴学習と動的でアテンション駆動の統合を統合することで、MR画像再構成分野における最先端の性能を達成すること。

提案手法

• 各モダリティ（T1およびT2）を独立して処理する二ストリームエンコーダ・デコーダアーキテクチャを提案し、共有畳み込みブロックを用いてモダリティ固有の表現を学習する。
• グローバル平均プーリングと全結合層を用いてチャネルワイドアテンションを適用するT1ガイドドアテンションモジュールを導入し、T1特徴における情報量の多いチャネルを強調する。
• 空間ワイドアテンションモジュールをアテンション機構に拡張し、グローバルマックスプーリングと7×7畳み込みを用いて、T1特徴内の顕著な空間領域に注目するアテンションマップを生成する。
• 強化されたT1特徴とT2特徴を、残差スタイルの要素ごとの乗算と加算により統合する：$\hat{\bm{f}}_{T_{2}} = \bm{f}_{T_{2}} \otimes \bm{f}_{T_{1}}^{s} \oplus \bm{f}_{T_{2}}$。これにより、動的でアテンション駆動の特徴変調が可能になる。
• エンコーダおよびデコーダの複数段階にわたりT1ガイドド統合モジュールを適用し、モダリティ間で階層的・マルチスケールの特徴集約を実現する。
• k-spaceと画像空間の再構成誤差の両方を最適化する組み合わせ損失関数を用いてエンドツーエンドの学習を実施する：$\mathcal{L} = \alpha \mathcal{L}_{k\text{-space}} + \beta \mathcal{L}_{\text{Image}}$、ここで$\alpha = 0.4$、$\beta = 0.6$。

実験結果

リサーチクエスチョン

• RQ1 完全にスキャンされた補助的MRモダリティ（例：T1）を活用することで、加速MRIにおいてアンダーサンプルされたターゲットモダリティ（例：T2）の再構成品質を顕著に向上させることができるか？
• RQ2 階層的・マルチスケールのアテンション機構は、T1とT2のMRシーケンス間の補完的クロスモダリティ特徴を効果的に捉えられるか？
• RQ3 複数のネットワーク深さにわたりT1ガイドド特徴統合を適用することで、単一段階の統合に比べ、より優れたアーチファクト抑制と構造的保存が達成できるか？
• RQ4 提案されたマルチモーダル集約ネットワークは、NMSE、PSNR、SSIMの観点で、最先端の単一モダリティディープラーニング手法をどの程度上回るか？
• RQ5 本手法は、IXIやfastMRIのような多様なデータセットに一般化可能であり、さまざまな加速率においても安定した性能を維持できるか？

主な発見

• MARIOは、IXIおよびfastMRIデータセットの両方で最先端の性能を達成し、さまざまな加速率において、NMSE、PSNR、SSIMの指標で、既存の手法を一貫して上回った。
• 提案されたT1ガイドドアテンション機構により、チャネルワイドおよび空間ワイドに重要な特徴を強調することで、特徴表現が顕著に向上し、再構成の忠実度が向上した。
• 残差スタイルのアテンションモジュールによるT1およびT2特徴のマルチスケール統合により、特に複雑な解剖的構造を有する領域で優れたアーチファクト抑制が達成された。
• 定量的評価では、8×加速条件下でfastMRIデータセットにおいてMARIOが平均PSNR 34.2 dB、SSIM 0.92を達成し、先行手法を大きく上回った。
• アブレーションスタディの結果、T1ガイドドアテンションまたは統合モジュールを削除すると性能が著しく低下することが確認され、マルチモーダルで階層的な特徴集約の重要性が裏付けられた。