[論文レビュー] Multi-Contrast MRI Super-Resolution via a Multi-Stage Integration Network

Chun-Mei Feng, Huazhu Fu+2 more|arXiv (Cornell University)|May 19, 2021

Advanced Image Processing Techniques参考文献 26被引用数 5

ひとこと要約

本稿では、階層的特徴段階におけるクロスコントラスト依存関係を明示的にモデル化する、マルチコントラストMRIスーパーレゾリューション向けのマルチステージ統合ネットワークであるMINetを提案する。類似度に基づく統合とアテンションメカニズムを用いて補完的特徴を統合することで、fastMRIおよび臨床データセットにおいて最先端の性能を達成し、従来手法と比較してPSNRおよびSSIMが顕著に向上した。

ABSTRACT

Super-resolution (SR) plays a crucial role in improving the image quality of magnetic resonance imaging (MRI). MRI produces multi-contrast images and can provide a clear display of soft tissues. However, current super-resolution methods only employ a single contrast, or use a simple multi-contrast fusion mechanism, ignoring the rich relations among different contrasts, which are valuable for improving SR. In this work, we propose a multi-stage integration network (i.e., MINet) for multi-contrast MRI SR, which explicitly models the dependencies between multi-contrast images at different stages to guide image SR. In particular, our MINet first learns a hierarchical feature representation from multiple convolutional stages for each of different-contrast image. Subsequently, we introduce a multi-stage integration module to mine the comprehensive relations between the representations of the multi-contrast images. Specifically, the module matches each representation with all other features, which are integrated in terms of their similarities to obtain an enriched representation. Extensive experiments on fastMRI and real-world clinical datasets demonstrate that 1) our MINet outperforms state-of-the-art multi-contrast SR methods in terms of various metrics and 2) our multi-stage integration module is able to excavate complex interactions among multi-contrast features at different stages, leading to improved target-image quality.

研究の動機と目的

• マルチコントラストMRIにおける複雑なコントラスト間関係を無視する既存のスーパーレゾリューション手法の限界を解決すること。
• T1WI、T2WI、PDWI、FS-PDWIなどの複数のMRIコントラストから得られる補完的情報を活用し、ターゲットコントラスト画像の復元を向上させること。
• 異なる段階における階層的特徴相互作用をモデル化する深層学習フレームワークを構築すること。
• 類似度に配慮した統合とアテンションメカニズムを用いて、複数レベルでのマルチコントラスト特徴統合により、表現学習を強化すること。
• fastMRIや臨床データセットを含む多様なデータセットおよびスケーリング要因（例：4×スーパーレゾリューション）において、強力な性能を示すこと。

提案手法

• 各MRIコントラストを共有エンコーダーを介して複数の畳み込み段階で処理するマルチステージ統合ネットワーク（MINet）を提案し、階層的特徴を学習する。
• 異なるコントラストからの特徴を類似度に基づいてマッチングし、豊富な表現に統合するマルチステージ統合モジュールを導入する。
• 各コントラスト内での情報量の多い特徴を適応的に強調するため、特徴アテンションモジュール（$\mathcal{F}_{\text{Att}}$）を採用し、モダリティ固有の表現を強化する。
• 各段階でコントラスト間の特徴を集約する特徴統合モジュール（$\mathcal{F}_{\text{Int}}$）を適用し、重み付き統合によりコントラスト間依存関係をモデル化する。
• 初期段階の特徴が深い表現の学習をガイドする段階的改善戦略を採用し、複数レベルの相互作用を可能にする。
• 構造的詳細の保持と視覚的品質の向上を目的に、L1損失とペルセプチュアル損失を組み合わせた複合損失関数を用いてネットワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 複数の階層的段階でコントラスト間依存関係をモデル化することで、マルチコントラストMRIのスーパーレゾリューション性能が向上するか？
• RQ2 異なるMRIシーケンス（例：T1WI、T2WI）からのマルチコントラスト特徴は、どのようにしてターゲットコントラスト再構成を向上させるか？
• RQ3 マルチコントラストMRI SRにおける段階的特徴統合と単一段階の統合の間で、それぞれの貢献度は何か？
• RQ4 補助コントラスト（例：T2WI SRにおけるT1WI）の導入が、PSNRおよびSSIMに測定可能な向上をもたらすか？
• RQ5 本手法は、実臨床環境における多様なデータセットおよびスケーリング要因（例：2×、4×）に対して、どれほど頑健な性能を示すか？

主な発見

• 2×スーパーレゾリューションにおいて、fastMRIデータセットでPSNR（31.769）とSSIM（0.709）が最高を記録し、以前のSOTA手法（Lyuら）をPSNRで2.286 dB上回った。
• 4×スーパーレゾリューションにおいて、SMSデータセットでPSNR 35.032、SSIM 0.948を達成し、2番目に優れた手法（Lyu ら）をPSNRで1.365 dB上回った。
• 4×スーパーレゾリューションにおいて、uMRデータセットでPSNR 34.219、SSIM 0.956を達成し、2番目に優れた手法（Zeng ら）をPSNRで2.358 dB上回った。
• アブレーションスタディの結果、特徴統合モジュール（$\mathcal{F}_{\text{Int}}$）やアテンションモジュール（$\mathcal{F}_{\text{Att}}$）を除去すると性能が低下し、完全なモデルが最良の結果（SMSデータセット、2×、NMSE: 0.0018、PSNR: 40.549、SSIM: 0.983）を達成した。
• 可視化結果から、MINetはチェスボード効果などのアーティファクトが少なく、特に高倍率設定において構造的保存性が優れていることが示された。
• fastMRI、SMS、uMRといった多様なデータセットにわたる汎用性が確認され、実臨床環境における堅牢性が裏付けられた。