[論文レビュー] HUMUS-Net: Hybrid unrolled multi-scale network architecture for accelerated MRI reconstruction

Zalan Fabian, Tinaz, Berk+1 more|arXiv (Cornell University)|Mar 15, 2022

Advanced X-ray and CT Imaging被引用数 45

ひとこと要約

HUMUS-Net は畳み込みと Transformer ベースのモジュールを展開型・多スケールアーキテクチャに組み込み、加速 MRI 再構成を改善。fastMRI 膝データで最先端の結果を達成。

ABSTRACT

In accelerated MRI reconstruction, the anatomy of a patient is recovered from a set of under-sampled and noisy measurements. Deep learning approaches have been proven to be successful in solving this ill-posed inverse problem and are capable of producing very high quality reconstructions. However, current architectures heavily rely on convolutions, that are content-independent and have difficulties modeling long-range dependencies in images. Recently, Transformers, the workhorse of contemporary natural language processing, have emerged as powerful building blocks for a multitude of vision tasks. These models split input images into non-overlapping patches, embed the patches into lower-dimensional tokens and utilize a self-attention mechanism that does not suffer from the aforementioned weaknesses of convolutional architectures. However, Transformers incur extremely high compute and memory cost when 1) the input image resolution is high and 2) when the image needs to be split into a large number of patches to preserve fine detail information, both of which are typical in low-level vision problems such as MRI reconstruction, having a compounding effect. To tackle these challenges, we propose HUMUS-Net, a hybrid architecture that combines the beneficial implicit bias and efficiency of convolutions with the power of Transformer blocks in an unrolled and multi-scale network. HUMUS-Net extracts high-resolution features via convolutional blocks and refines low-resolution features via a novel Transformer-based multi-scale feature extractor. Features from both levels are then synthesized into a high-resolution output reconstruction. Our network establishes new state of the art on the largest publicly available MRI dataset, the fastMRI dataset. We further demonstrate the performance of HUMUS-Net on two other popular MRI datasets and perform fine-grained ablation studies to validate our design.

研究の動機と目的

• 加速度MRIにおける再構成の改善を、純粋な畳み込みモデルの長距離依存性のモデリング制限に対処して動機づける。
• 高解像度のディテールを保持しつつ、多スケールの Transformer ベース特徴抽出を活用するハイブリッドアーキテクチャを提案する。
• 画像ドメインのデノイジングを備え、高・低解像度特徴を融合する展開型再構成フレームワークを導入する。
• 大規模 MRI データセットでの state-of-the-art 性能を実証し、設計選択を検証するアブレーション研究を提供する。

提案手法

• HUMUS-Net を導入し、k-space MRI 再構成の逐次展開のカスケードを提案する。
• HUMUS-Block は 3x3 畳み込み層で高解像度特徴を、畳み込みダウンサンプリング経路で低解像度特徴を抽出する。
• 新規の多スケールハイブリッド特徴抽出器 MUST は、Swin-Transformer ブロックを用いたエンコーダ-デコーダ処理を、画像表現とトークン表現の両方でスキップ接続とともに実行する。
• 低解像度特徴は Transformer-畳み込みハイブリッドな設定で処理され、長距離依存性を捉えつつ計算を現実的に保つ。
• 再構成は高解像度特徴と深い低解像度特徴を残差画像学習モジュールで統合する：x_out = x_in + f_R(F_H, F_D)。
• フォワードモデルはデータ整合性とコイル感度の拡張/縮小を用い、文脈を向上させる隣接スライス再構成をオプショナルで提供する。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッド畳み込み-Transformer アーキテクチャは、純粋な CNN ベースや Transformer ベースモデルと比べて再構成品質を改善できるか？
• RQ2 多スケール処理と展開型 k-space 最適化は、fastMRI のような大規模公開データセットで state-of-the-art を達成するか？
• RQ3 高解像度画像特徴と低解像度 Transformer ベース特徴を同時に処理することは、再構成の忠実度にどのような影響を与えるか？
• RQ4 隣接スライス再構成（ASR）はデータセット間で一貫した改善を提供するか？
• RQ5 アブレーション（単一スケール SwinIR vs MUST vs HUMUS-Block）の結果は、多スケール・ハイブリッド処理の重要性をどう示すか？

主な発見

• HUMUS-Net は fastMRI 膝テストデータで SSIM=0.8936, PSNR=37.0, NMSE=0.0086 を達成し、いくつかのベースラインを上回る。
• HUMUS-Net-L は embedding 次元の増大とともに SSIM=0.8951, PSNR=37.4, NMSE=0.0080 を達成。
• fastMRI バリデーションで HUMUS-Net は SSIM=0.8934（E2E-VarNet 0.8908 と比較）を達成。
• アブレーションは、多スケールのハイブリッド処理（MUST）が単一スケール SwinIR および展開型バリアントより優れており、Stanford 3D MRI で HUMUS-Net は SSIM=0.9449±0.0064 を達成。
• ASR は隣接スライスからの文脈を活用することで再構成を更に改善する（トークン数は変えず）。
• 総じて HUMUS-Net は fastMRI 膝で新たな state-of-the-art の SSIM を達成し、Stanford 2D/3D データセット全体で頑健性を示す。