[論文レビュー] Task Transformer Network for Joint MRI Reconstruction and Super-Resolution

Chun-Mei Feng, Yunlu Yan+3 more|arXiv (Cornell University)|Jun 12, 2021

Advanced MRI Techniques and Applications参考文献 33被引用数 6

ひとこと要約

本稿では、タスク変換モジュールを用いて2つのタスク固有ブランチ間で特徴を共有することで、MRI再構成とスーパーレゾリューションを統合的に実行するエンドツーエンドのタスク変換ネットワークT2Netを提案する。この手法は最先端の性能を達成し、4×スーパーレゾリューションにおいて順次的手法と比較してPSNRを6 dB以上向上させ、アーチファクトの抑制と構造の忠実度に優れる。

ABSTRACT

The core problem of Magnetic Resonance Imaging (MRI) is the trade off between acceleration and image quality. Image reconstruction and super-resolution are two crucial techniques in Magnetic Resonance Imaging (MRI). Current methods are designed to perform these tasks separately, ignoring the correlations between them. In this work, we propose an end-to-end task transformer network (T$^2$Net) for joint MRI reconstruction and super-resolution, which allows representations and feature transmission to be shared between multiple task to achieve higher-quality, super-resolved and motion-artifacts-free images from highly undersampled and degenerated MRI data. Our framework combines both reconstruction and super-resolution, divided into two sub-branches, whose features are expressed as queries and keys. Specifically, we encourage joint feature learning between the two tasks, thereby transferring accurate task information. We first use two separate CNN branches to extract task-specific features. Then, a task transformer module is designed to embed and synthesize the relevance between the two tasks. Experimental results show that our multi-task model significantly outperforms advanced sequential methods, both quantitatively and qualitatively.

研究の動機と目的

• MRIの撮影速度と画像品質のトレードオフを解消するために、再構成とスーパーレゾリューションを同時に最適化すること。
• MRI再構成とスーパーレゾリューションの間で共有される表現を活用し、画像品質の向上とアーチファクトの低減を実現すること。
• 注意メカニズムを用いて関連するタスク間での特徴転送を可能にするマルチタスク学習フレームワークを設計すること。
• 定量的および定性的な指標において、最先端の再構成モデルとスーパーレゾリューションモデルの順次的組み合わせを上回ること。

提案手法

• T2Netは2つの並列なCNNブランチを採用する：1つは補助タスクとしてのMRI再構成、もう1つはターゲットタスクとしてのスーパーレゾリューション、それぞれがタスク固有の特徴を抽出する。
• タスク変換モジュールを導入し、再構成ブランチの特徴をキーベースに、スーパーレゾリューションブランチの特徴をクエリとして扱うことにより、タスク間の関連性をモデル化する。
• 関連性埋め込み、ハードアテンション、ソフトアテンションを用いて、再構成ブランチから得られる解剖学的構造情報のスーパーレゾリューション出力への転送を実現する。
• エンドツーエンドで訓練され、再構成とスーパーレゾリューションの目的関数を組み合わせたマルチタスク損失を用いることで、同時最適化が可能になる。
• 高いアンダーサンプリング率（例：6×カーディナル加速）と高いスーパーレゾリューション係数（最大4×）をサポートする。

実験結果

リサーチクエスチョン

• RQ1 順次処理と比較して、MRI再構成とスーパーレゾリューションの共同学習が画像品質の向上に寄与するか？
• RQ2 再構成から得られる共有された解剖学的特徴が、スーパーレゾリューションの結果をどれほど効果的に向上させられるか？
• RQ3 タスク特化型のトランスフォーマーモジュールの統合が、高アンダーサンプリングMRIデータにおける特徴転送とアーチファクト低減に寄与するか？
• RQ4 提案されたマルチタスクフレームワークは、定量的および定性的に最先端の順次的モデルと比較してどのように優れているか？

主な発見

• IXIデータセットにおいて2×スーパーレゾリューション下でT2Netは29.397 dBのPSNRを達成し、すべての順次的組み合わせを上回った。
• 4×スーパーレゾリューション下では、IXIデータセットで28.659 dB、臨床データセットで30.252 dBのPSNRを達成し、最良の順次的手法（21.895 dB）を著しく上回った。
• アブレーションスタディの結果、再構成ブランチを削除すると性能が低下する一方、タスク変換モジュールを削除しても単独のSRブランチを用いた場合より優れた結果が得られ、特徴転送の有効性が裏付けられた。
• 視覚的比較では、T2Netがアリゼーションアーチファクトを効果的に抑制し、特に高スーパーレゾリューション係数下でも微細な解剖学的詳細を保持していることが確認された。
• 6×カーディナル加速という高いアンダーサンプリングに対しても、ぼやけや構造的損失が最小限に抑えられ、画像品質を高い水準で維持するというロバストネスを示した。