[論文レビュー] Contrastive Learning for Local and Global Learning MRI Reconstruction

Qiaosi Yi, Jinhao Liu+3 more|arXiv (Cornell University)|Nov 30, 2021

Advanced MRI Techniques and Applications参考文献 47被引用数 5

ひとこと要約

本稿では、空間ドメインとフーリエドメインの両方での学習を統合する空間およびフーリエ層（SFL）を用いて、局所的およびグローバルな画像構造を捉える新しいMRI再構成ネットワークであるCLGNetを提案する。対照的学習を用いて、解空間の上界と下界を制約し、完全サンプリング済み画像に再構成を引き寄せ、アンダーサンプリングされた入力から遠ざけることで、性能を向上させる。本手法は、複数のデータセットおよび加速率において最先端の性能を達成する。

ABSTRACT

Magnetic Resonance Imaging (MRI) is an important medical imaging modality, while it requires a long acquisition time. To reduce the acquisition time, various methods have been proposed. However, these methods failed to reconstruct images with a clear structure for two main reasons. Firstly, similar patches widely exist in MR images, while most previous deep learning-based methods ignore this property and only adopt CNN to learn local information. Secondly, the existing methods only use clear images to constrain the upper bound of the solution space, while the lower bound is not constrained, so that a better parameter of the network cannot be obtained. To address these problems, we propose a Contrastive Learning for Local and Global Learning MRI Reconstruction Network (CLGNet). Specifically, according to the Fourier theory, each value in the Fourier domain is calculated from all the values in Spatial domain. Therefore, we propose a Spatial and Fourier Layer (SFL) to simultaneously learn the local and global information in Spatial and Fourier domains. Moreover, compared with self-attention and transformer, the SFL has a stronger learning ability and can achieve better performance in less time. Based on the SFL, we design a Spatial and Fourier Residual block as the main component of our model. Meanwhile, to constrain the lower bound and upper bound of the solution space, we introduce contrastive learning, which can pull the result closer to the clear image and push the result further away from the undersampled image. Extensive experimental results on different datasets and acceleration rates demonstrate that the proposed CLGNet achieves new state-of-the-art results.

研究の動機と目的

• 既存のディープラーニング手法が、グローバルな文脈や類似するパッチのモデリングが不十分であるため、明確な構造的詳細を有するMRI画像を再構成する能力に制限を受けることに対処する。
• MRI再構成の不適切な定式化（ill-posed nature）を解消するため、解空間の上界と下界の両方を制約する。
• 自己注意やトランスフォーマーの代替として、計算コストを大幅に削減しつつグローバル特徴を学習する効率的な手法を開発する。
• 空間ドメインとウェーブレットドメインでの共同学習により、画像再構成品質を向上させる。

提案手法

• 標準的な畳み込みと高速フーリエ畳み込みを組み合わせた空間およびフーリエ層（SFL）を提案し、空間ドメインにおける局所的特徴とフーリエドメインにおけるグローバルな依存関係の両方を同時に学習可能にする。
• CLGNetのコアとなる構成要素として、空間およびフーリエ残差ブロック（SFRB）とその残差変種（SFRIR）を設計し、ドメインをまたがる効果的な特徴学習を可能にする。
• 完全サンプリング済み（明確な）画像にネットワーク出力を近づけ、アンダーサンプリングされた入力から遠ざけることで、解空間の上界と下界の両方を制約する対照的学習損失を導入する。
• スパarsityを活用して構造的詳細の回復を向上させるために、空間ブランチとウェーブレットブランチを備えた二重ブランチアーキテクチャを採用する。
• SFL内で高速フーリエ変換（FFT）と逆高速フーリエ変換（IFFT）を用いることで、自己注意やトランスフォーマーと比較して高い計算コストを伴わずにグローバルな受容 field を実現する。
• パラメータ数とFLOPsを低く保つことでモデルの効率性を維持し、標準的な畳み込みネットワークと比較してわずかに増加するにとどめる。

実験結果

リサーチクエスチョン

• RQ1 空間ドメインとフーリエドメインでの共同学習により、局所的およびグローバルな画像構造を捉えることで、MRI再構成の品質が向上するか？
• RQ2 提案されたSFL層は、自己注意やトランスフォーマーと比較して、より低い計算コストでグローバルな文脈を学習できるか？
• RQ3 対照的学習が、解空間の上界と下界の両方を制約することで、どれほど再構成品質を向上させるか？
• RQ4 ウェーブレットブランチは、MRI再構成における構造的詳細回復の向上にどれほど効果的か？
• RQ5 提案されたCLGNetは、多様なデータセットおよび加速率において、最先端の性能を達成できるか？

主な発見

• CLGNetは、CC-359 Brainを含む複数のデータセットで、さまざまな加速率において新たな最先端性能を達成し、PSNRとSSIMの両面で顕著な向上を示した。
• アブレーションスタディの結果、ウェーブレットブランチを削除すると顕著な性能低下が生じ、構造的詳細回復への貢献が確認された。
• SFLを自己注意やトランスフォーマー層に置き換えると、性能が劣化し、実行時間も著しく増加したため、SFLの優れた効率性と有効性が裏付けられた。
• 対照的学習損失を導入することで、ベースラインと比較してPSNRが4 dB向上し、解空間の制約における有効性が実証された。
• 対照的学習におけるネガティブサンプルを削除すると性能が劣化したため、下界の制約がより良い解を見つけるために不可欠であることが確認された。
• 標準的な畳み込みと比較して、SFLモジュールは実行時間とFLOPsをわずかに増加にとどめ、計算効率性が高いことが示された。