[論文レビュー] Data augmentation for deep learning based accelerated MRI reconstruction with limited data

Zalan Fabian, Reinhard Heckel+1 more|arXiv (Cornell University)|Jun 28, 2021

Medical Imaging Techniques and Applications被引用数 22

ひとこと要約

本論文では、低データ環境における過学習を軽減するために、MRI撮影の不変性を活用する物理情報に基づいたデータ拡張パイプライン、MRAugmentを提案する。k-spaceデータに対して空間的変換とノイズ保持型拡張を適用することで、一般化性能とロバスト性が向上し、訓練データを大幅に削減しても最先端の性能を達成する。一部の設定では、データ要件を最大98%まで削減しながらも、SOTA（最先端）の結果を同等または上回る性能を発揮する。

ABSTRACT

Deep neural networks have emerged as very successful tools for image restoration and reconstruction tasks. These networks are often trained end-to-end to directly reconstruct an image from a noisy or corrupted measurement of that image. To achieve state-of-the-art performance, training on large and diverse sets of images is considered critical. However, it is often difficult and/or expensive to collect large amounts of training images. Inspired by the success of Data Augmentation (DA) for classification problems, in this paper, we propose a pipeline for data augmentation for accelerated MRI reconstruction and study its effectiveness at reducing the required training data in a variety of settings. Our DA pipeline, MRAugment, is specifically designed to utilize the invariances present in medical imaging measurements as naive DA strategies that neglect the physics of the problem fail. Through extensive studies on multiple datasets we demonstrate that in the low-data regime DA prevents overfitting and can match or even surpass the state of the art while using significantly fewer training data, whereas in the high-data regime it has diminishing returns. Furthermore, our findings show that DA can improve the robustness of the model against various shifts in the test distribution.

研究の動機と目的

• 大規模なデータセットの収集が費用と時間のかかるため、深層学習に基づくMRI再構成における限られた訓練データの課題に対処すること。
• MRI再構成のような逆問題において、標準的な画像レベルの変換が測定の一貫性を損なうため、単純なデータ拡張の限界を克服すること。
• MRI撮影の物理的制約に適合したデータ拡張パイプラインを開発し、モデルの一般化性能とロバスト性を向上させること。
• 物理的感度の高いデータ拡張が、性能を損なわせずにデータ要件を顕著に削減できることを実証すること。
• データ拡張が、スキャナーや磁場強度の違いなどの分布シフトに対してモデルのロバスト性やホログラフィーに与える影響を調査すること。

提案手法

• MRI測定の物理的性質を保持するように、k-spaceデータに空間的変換（例：回転、反転）を適用するデータ拡張パイプライン、MRAugmentを提案する。
• 訓練と検証の間でノイズ分布の不一致を避けるために、前向きk-space投影の前に画像ドメインで変換を適用し、拡張されたデータが一貫したノイズ分布を維持することを保証する。
• 訓練中に徐々に拡張の強度を高めるための指数スケジューリング戦略を採用し、一般化性能の向上を図る。
• 剛体変換（回転、反転、シフト）をk-spaceサンプリングの前に行い、得られる測定値が取得モデルと一貫したままになるようにする。
• U-Netベースの深層学習再構成モデルに拡張パイプラインを統合し、標準的なL2損失を用いてエンドツーエンドで訓練する。
• 複数のデータセット（脳および膝MRI）とさまざまなアンダーサンプリング方式、スキャナーシフトの下で手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 物理情報に基づいたデータ拡張は、性能を損なわせずに、深層学習ベースのMRI再構成における訓練データの必要量を削減できるか？
• RQ2 MRAugmentは、ノイズ分布を考慮しない単純なデータ拡張手法と比較して、再構成品質と一般化性能においてどのように異なるか？
• RQ3 データ拡張は、スキャナーや磁場強度の違いといった分布シフトに対して、どの程度モデルのロバスト性を向上させるか？
• RQ4 特に低データ環境において、再構成画像のホログラフィー的特徴がデータ拡張によって減少するか？
• RQ5 訓練データが不足している場合や、分布が急激に変化する場合に、データ拡張が一般化性能を向上させられるか？

主な発見

• MRAugmentは低データ環境における過学習を顕著に軽減し、完全な訓練データの2%程度で最先端の再構成品質を達成した。
• fastMRI脳データセットにおいて、MRAugmentを用いて2%のデータで学習した場合、SSIMはノイズなし拡張（no DA）の0.8646から0.9049に向上し、非拡張モデルを上回った。
• MRAugmentで学習したモデルは、1.5Tデータで学習した後、3Tデータでテストした際、SSIMが0.8241から0.8551に向上し、スキャナーシフトに対して優れたロバスト性を示した。
• ノイズ分布を考慮しない単純なデータ拡張（直接画像に適用）は性能を低下させ、ノイズ分布の不一致により高周波数アーチファクトが発生し、画像品質が低下した。
• MRAugmentの使用により、特に低データ環境において再構成画像のホログラフィー的特徴が減少したことが、視覚的比較と定量的SSIMの向上で裏付けられた。
• 高データ環境では、データ拡張の恩恵が薄れるため、MRAugmentはデータが不足している場合に最も効果的であることが示された。