[論文レビュー] Exploring Separable Attention for Multi-Contrast MR Image Super-Resolution

Chun-Mei Feng, Yunlu Yan+4 more|arXiv (Cornell University)|Sep 3, 2021

Advanced Image Processing Techniques参考文献 30被引用数 14

ひとこと要約

本稿では、補助コントラストを活用して高強度および低強度領域の再構成を向上させる、マルチコントラストMR画像超解像のための新規分離可能アテンションネットワークSANetを提案する。高強度優先および低強度分離アテンションメカニズムを採用することで、SANetは解剖的詳細の回復とエッジ保持を向上させ、fastMRIおよびin vivoデータセットで最先端の性能を達成し、優れたPSNRおよびSSIMスコアを実現した。

ABSTRACT

Super-resolving the Magnetic Resonance (MR) image of a target contrast under the guidance of the corresponding auxiliary contrast, which provides additional anatomical information, is a new and effective solution for fast MR imaging. However, current multi-contrast super-resolution (SR) methods tend to concatenate different contrasts directly, ignoring their relationships in different clues, e.g., in the high-intensity and low-intensity regions. In this study, we propose a separable attention network (comprising high-intensity priority attention and low-intensity separation attention), named SANet. Our SANet could explore the areas of high-intensity and low-intensity regions in the "forward" and "reverse" directions with the help of the auxiliary contrast, while learning clearer anatomical structure and edge information for the SR of a target-contrast MR image. SANet provides three appealing benefits: (1) It is the first model to explore a separable attention mechanism that uses the auxiliary contrast to predict the high-intensity and low-intensity regions regions, diverting more attention to refining any uncertain details between these regions and correcting the fine areas in the reconstructed results. (2) A multi-stage integration module is proposed to learn the response of multi-contrast fusion at multiple stages, get the dependency between the fused representations, and boost their representation ability. (3) Extensive experiments with various state-of-the-art multi-contrast SR methods on fastMRI and clinical extit{in vivo} datasets demonstrate the superiority of our model.

研究の動機と目的

• 既存のマルチコントラストSR手法が高強度および低強度領域における相関関係をモデル化せずにコントラストを連結するという制限を解消すること。
• 補助MRコントラストからの補完的解剖的情報を明示的にモデル化することで、超解像品質を向上させること。
• アテンション駆動の特徴精錬を用いて、高強度および低強度領域間の曖昧な境界を精錬するメカニズムを開発すること。
• 複数段階の統合モジュールを用いて、ネットワークの各段階における融合依存関係を捉えることで表現学習を強化すること。
• 最小限の計算オーバーヘッドで、パラメータ効率的かつ高性能な超解像を達成すること。

提案手法

• 高強度優先および低強度分離パスに分割することで、強度領域間の曖昧な境界を精錬する分離可能アテンションメカニズムを提案する。
• 複数のネットワーク深さでマルチコントラスト統合からの特徴応答を学習・強化するマルチステージ統合モジュールを導入する。
• ターゲットコントラストと補助コントラストの寄与をバランスさせるための学習可能なアテンション重み比（α）を用い、最適な性能はα = 0.7で達成された。
• アブレーションスタディで妥当化されたように、収束を速く安定させるためにL1損失関数を採用する。
• 調整可能な残留グループ（2〜6）を備えた残差ネットワークを設計し、6グループで最適な性能が得られ、PSNRおよびSSIMが安定した。
• 共有特徴抽出とコントラスト固有の精錬ブランチを持つ段階的トレーニング戦略を適用する。

Figure 1: Comparison between single-contrast method SMORE [ 9 ] ), multi-contrast method Lyu et al. [ 10 ] , and our SANet on in vivo datasets. We effectively reconstruct the target contrast image by exploring the complementary information between the clear anatomical structure and boundary details

実験結果

リサーチクエスチョン

• RQ1 高強度および低強度領域を区別する分離可能アテンションメカニズムが、マルチコントラストMR超解像を改善できるか？
• RQ2 補助コントラスト情報の統合は、微細な解剖的構造およびエッジの再構成にどのように影響するか？
• RQ3 アテンションメカニズムにおけるターゲットコントラストと補助コントラストの寄与の最適バランスは何か？
• RQ4 マルチコントラスト特徴のマルチステージ統合は、表現学習およびSR性能をどのように向上させるか？
• RQ5 提案手法は、既存のEDSRベースのモデルと比較して、より少ないパラメータで優れた性能を達成できるか？

主な発見

• SANetは2倍拡大のSMSデータセットでPSNR 42.10 dB、SSIM 0.997を達成し、ベースライン手法を上回った。
• 最適なアテンション重み比α = 0.7が最高のPSNRおよびSSIMをもたらし、α < 0.3の値では性能が著しく低下した。
• 6つの残留グループで性能が飽和し、PSNRおよびSSIMが安定したため、過学習を避けるために十分な容量であることが示された。
• 6つの残留グループを用いたSANetは11Mパラメータで、EDSR（43M）およびSMORE（2本のEDSRブランチ）よりも大幅に少ないが、より優れた結果を達成した。
• ターゲットおよび補助コントラストの共同超解像により、ターゲットのPSNR = 31.72 dB、SSIM = 0.700、補助コントラストのPSNR = 32.3 dB、SSIM = 0.705を達成し、強力なマルチコントラスト統合を示した。
• アブレーションスタディにより、L1損失はL2損失と同等の結果を示し、収束が速いため、最終モデルにおける使用が正当化された。

Figure 2: Illustration of our SANet framework . Our model is made up of two branches: a target contrast branch and an auxiliary contrast branch. We input the features $\mathbf{x}_{aux}$ and $\mathbf{x}_{tar}$ of two contrasts to the residual groups $\mathcal{R}_{aux}^{l}$ and $\mathcal{R}_{tar}^{l}$