[論文レビュー] ReconFormer: Accelerated MRI Reconstruction Using Recurrent Transformer

Pengfei Guo, Yiqun Mei+3 more|arXiv (Cornell University)|Jan 23, 2022

Advanced MRI Techniques and Applications被引用数 6

ひとこと要約

ReconFormerは、再帰的ピラミッドトランスフォーマーレイヤー（RPTL）を用いて、マルチスケール特徴と再帰的状態間の深層特徴相関を統合的にモデル化する、軽量で高速なMRI再構成用の再帰的トランスフォーマー・アーキテクチャを提案する。少ないパラメータ数で最先端の画像品質を達成し、特に8×の高加速要因でも優れた性能を発揮する。HPKSではOUCRより0.9 dB高い性能を示し、fastMRIでも0.3 dB高い性能を達成する。

ABSTRACT

Accelerating magnetic resonance image (MRI) reconstruction process is a challenging ill-posed inverse problem due to the excessive under-sampling operation in k-space. In this paper, we propose a recurrent transformer model, namely ReconFormer, for MRI reconstruction which can iteratively reconstruct high fertility magnetic resonance images from highly under-sampled k-space data. In particular, the proposed architecture is built upon Recurrent Pyramid Transformer Layers (RPTL), which jointly exploits intrinsic multi-scale information at every architecture unit as well as the dependencies of the deep feature correlation through recurrent states. Moreover, the proposed ReconFormer is lightweight since it employs the recurrent structure for its parameter efficiency. We validate the effectiveness of ReconFormer on multiple datasets with different magnetic resonance sequences and show that it achieves significant improvements over the state-of-the-art methods with better parameter efficiency. Implementation code will be available in https://github.com/guopengf/ReconFormer.

研究の動機と目的

• k-spaceの不完全なサンプリングに起因する、不適切に定義された逆問題としての高速MRI再構成の課題に対処すること。
• ハイパーパramータに敏感で、長距離依存関係を十分にモデル化できない、従来の圧縮センシング法やCNNベースの手法の限界を克服すること。
• マルチスケール特徴と長距離相関を効果的に捉える、パラメータ効率の良い深層学習ベースのMRI再構成モデルを開発すること。
• 大規模データセットでの事前学習が不要な最小限のパラメータ数で、最先端の再構成品質を達成すること。

提案手法

• 各トランスフォーマーレイヤー内にローカルピラミッド構造を統合した、再帰的ピラミッドトランスフォーマーレイヤー（RPTL）を提案し、アーキテクチャの各ユニットでマルチスケール特徴をモデル化する。
• 高分解能の詳細を保持しつつ、再帰的状態間の深層特徴相関を可能にする、グローバルに列方向のトランスフォーマー設計を採用する。
• 再帰的ユニット（RU1、RU2、RU3）を3つ導入し、反復的に再構成を精緻化する。さらに、粗い予測から細かい予測への融合を実現するための精緻化モジュール（RM）を導入する。
• 最終段階に微分可能データ整合性（DC）レイヤーを設け、k-space整合性を強制することで、再構成画像が取得されたk-spaceデータと整合することを保証する。
• 空間的位置間の長距離依存関係をモデル化するため、マルチヘッドアテンションを用いた自己アテンション機構を採用する。
• 反復的再構成のため、固定長T=5でアンローリングを実装し、精度と計算効率のバランスを図る。

実験結果

リサーチクエスチョン

• RQ1 再帰的トランスフォーマー・アーキテクチャは、MRI再構成においてマルチスケール特徴と長距離依存関係を効果的にモデル化できるか？
• RQ2 各トランスフォーマーレイヤー内にピラミッド構造を統合することで、階層的または列方向の設計と比較して、特徴表現が向上するか？
• RQ3 共有パラメータを有する再帰的設計は、パラメータ効率を維持しつつ高い性能を達成できるか？
• RQ4 高加速要因における画像品質と頑健性の観点から、提案手法は最先端の手法と比較して優れているか？
• RQ5 大規模データセットでの事前学習がなければ性能に悪影響を及ぼすか？また、多様なMRIシーケンスやデータセットに一般化できるか？

主な発見

• 8×加速条件下でHPKSデータセットにおいて最高のPSNR（40.09）とSSIM（0.9788）を達成し、OUCRよりPSNRで0.9 dB高い性能を示した。
• より挑戦的なfastMRIデータセットにおいても、8×加速でPSNR 33.04 dB、SSIM 0.9210を達成し、OUCRよりPSNRで0.3 dB高い性能を示した。
• アブレーションスタディの結果、各再帰的ユニットおよびRPTLコンponentsが段階的に性能向上をもたらし、全加速要因においてRPTLが一貫した向上効果を示した。
• 特に高い加速要因において顕著な性能向上を示しており、重度のk-space不完全サンプリングに対しても強い頑健性を示した。
• 多様なMRIシーケンスおよびデータセットにおいても優れた性能を維持し、事前学習なしで一般化能力を示した。
• 比較対象の全手法と比較して、最も少ないパラメータ数で最先端の結果を達成した。これにより、パラメータ効率の高さが裏付けられた。