[論文レビュー] VORTEX: Physics-Driven Data Augmentations Using Consistency Training for Robust Accelerated MRI Reconstruction

Arjun Desai, Beliz Gunel+7 more|arXiv (Cornell University)|Nov 3, 2021

Medical Imaging Techniques and Applications被引用数 5

ひとこと要約

VORTEXは、ノイズや動きの汚染といったドメインに配慮したデータ拡張と画像ベースの拡張を組み合わせることで、ロバスト性とラベル効率を向上させる物理駆動型で半教師ありの一貫性学習フレームワークを提案する。この手法は、分布外の動きによる汚染を受けたデータにおいて、自己教師ありおよび教師ありのベースラインを最大+0.124 SSIMおよび+7.0 dB cPSNRで上回り、分布内データでも優れた性能を維持する。

ABSTRACT

Deep neural networks have enabled improved image quality and fast inference times for various inverse problems, including accelerated magnetic resonance imaging (MRI) reconstruction. However, such models require a large number of fully-sampled ground truth datasets, which are difficult to curate, and are sensitive to distribution drifts. In this work, we propose applying physics-driven data augmentations for consistency training that leverage our domain knowledge of the forward MRI data acquisition process and MRI physics to achieve improved label efficiency and robustness to clinically-relevant distribution drifts. Our approach, termed VORTEX, (1) demonstrates strong improvements over supervised baselines with and without data augmentation in robustness to signal-to-noise ratio change and motion corruption in data-limited regimes; (2) considerably outperforms state-of-the-art purely image-based data augmentation techniques and self-supervised reconstruction methods on both in-distribution and out-of-distribution data; and (3) enables composing heterogeneous image-based and physics-driven data augmentations. Our code is available at https://github.com/ad12/meddlr.

研究の動機と目的

• 完全にスキャンされたMRIデータの不足という課題に対処する。これは収集に費用がかかり、時間がかかるためである。
• 臨床的に関連する分布シフト、例えば信号対雑音比（SNR）の変化や動きアーチファクトに対する、深層学習ベースのMRI再構成モデルのロバスト性を向上させること。
• データ拡張に基づく手法で一般的に見られる、分布内と分布外の一般化性能のトレードオフを克服すること。
• 物理情報に基づいた拡張を活用する一貫性学習フレームワークを通じて、ラベルなしのアンダーサンプリングMRIデータを効果的に活用すること。
• モデルの一般化性能を向上させるために、異種の画像ベースの拡張と物理駆動型の拡張を統合的に組み合わせることを可能にすること。

提案手法

• VORTEXは、ラベルあり（完全スキャン済み）およびラベルなし（アンダーサンプリングのみ）のMRIデータを用いる半教師ありの一貫性学習フレームワークを採用する。
• 前方MRI収集モデルと既知のMRI物理学に基づいて、ノイズや動きアーチファクトのシミュレーションといった物理駆動型のデータ拡張を適用する。
• ラベルなしデータに対しては、再構成により偽ラベル（pseudo-references）を生成し、拡張されたバージョンがこれらの偽ラベルと一致するように最適化することで、物理的摂動に対して不変性を強制する。
• 困難度を段階的に上げるカリキュラム学習を可能にするために、物理駆動型拡張の難易度をスケジューリングする。初期段階では軽微な摂動から始め、徐々に強い摂動へと進める。
• 画像ベースの拡張（例：回転、スケーリング、反転）と物理駆動型の拡張（例：動き、ノイズ）を統一された学習目的で組み合わせることが可能である。
• 一貫性目的は、トレーニングノイズの統計的性質を保持する必要がないため、Noise2Reconのノイズ除去フレームワークを、より広範なMRI物理学に基づく拡張に一般化する。

実験結果

リサーチクエスチョン

• RQ1 物理駆動型のデータ拡張は、加速MRI再構成における臨床的に関連する分布シフト（例：SNRの変化、動きアーチファクト）に対するロバスト性を向上させることができるか？
• RQ2 ラベルが少ない状況において、物理的要因に基づく拡張を用いた一貫性学習は、純粋に画像ベースのデータ拡張手法を上回る性能を発揮するか？
• RQ3 統一されたフレームワークによって、画像ベースの拡張と物理駆動型の拡張を効果的に組み合わせ、モデルの一般化性能を向上させることができるか？
• RQ4 VORTEXは、従来の拡張ベース手法で見られる、分布内と分布外の一般化性能のトレードオフを緩和できるか？
• RQ5 ラベルなしデータからの偽ラベルを用いた一貫性学習は、ラベル効率を向上させつつ、分布内性能を劣化させないか？

主な発見

• データ制限下の重度の動きによる汚染を受けたスキャンにおいて、VORTEXは教師ありベースラインを+0.106 SSIMおよび+5.3 dB cPSNRで上回る。
• 8倍の加速率で実施されたfastMRIマルチコイル脳データセットにおいて、VORTEXはα=1.0の運動レベルでSSDUを+0.124 SSIMおよび+7.0 dB cPSNRで上回る。
• α=1.0の条件下で、MRAugmentを+0.119 SSIMおよび+7.0 dB cPSNRで上回り、分布外の動きに対して優れたロバスト性を示す。
• VORTEXは分布内性能を強く維持しており、分布内データで0.840 SSIMおよび29.0 cPSNRを達成し、最先端のベースラインと同等の性能を発揮する。
• VORTEXは、すべての運動レベルでSSDUおよびMRAugmentを上回り、ノイズ汚染データにおいても一貫して+0.089 SSIMおよび+2.5 dB cPSNRの向上を示す。
• 再構成例では、VORTEXはSSDUで見られるぼやけを避けて、細かな血管構造を保持しながら、一貫したゴーストアーチファクトを効果的に抑制している。