[論文レビュー] Memory-efficient Learning for High-Dimensional MRI Reconstruction

Ke Wang, Michael Kellman+6 more|arXiv (Cornell University)|Mar 6, 2021

Advanced MRI Techniques and Applications参考文献 21被引用数 5

ひとこと要約

本稿では、1つの12GB GPUのみを用いても、3次元（3D）および2次元＋時間（2D+time）の高次元データにおける深層学習ベースのアンロールMRI再構成の学習を可能にする、メモリ効率の学習（MEL）を提案する。バックプロパゲーション中に中間活性化を再計算することで、それらを保存しないことにより、MELはGPUメモリ使用量をN（アンロール数）分の1に削減し、計算量の増加はわずかである。これにより、シャープなエッジと改善された指標を実現する優れた画像品質が得られ、生体内3Dおよび心筋シンエスMRIデータセットで実証された。

ABSTRACT

Deep learning (DL) based unrolled reconstructions have shown state-of-the-art performance for under-sampled magnetic resonance imaging (MRI). Similar to compressed sensing, DL can leverage high-dimensional data (e.g. 3D, 2D+time, 3D+time) to further improve performance. However, network size and depth are currently limited by the GPU memory required for backpropagation. Here we use a memory-efficient learning (MEL) framework which favorably trades off storage with a manageable increase in computation during training. Using MEL with multi-dimensional data, we demonstrate improved image reconstruction performance for in-vivo 3D MRI and 2D+time cardiac cine MRI. MEL uses far less GPU memory while marginally increasing the training time, which enables new applications of DL to high-dimensional MRI.

研究の動機と目的

• 3次元（3D）および2次元＋時間（2D+time）MRIのような高次元データにおける、深層学習ベースのアンロールMRI再構成の学習を制限するGPUメモリ制限を克服すること。
• アンロール再構成ネットワークにおけるアンロール数の増加を可能にし、より細かい空間的および時間的テクスチャを捉えることで、画像品質の向上を実現すること。
• メモリ効率の学習（MEL）により、標準的なハードウェア（1つの12GB GPU）上でも、複雑な高次元MRI再構成モデルの学習が可能であり、性能を損なわずに実現できることを示すこと。
• MELを用いて高次元の冗長性を活用することで、定量的指標と臨床的に関連する画像品質の向上が得られることを検証すること。

提案手法

• MELは、バックプロパゲーション中に全Nアンロールの活性化を保存する代わりに、1つのレイヤー分の活性化のみを一時的に保存することで、メモリ使用量を削減する。中間特徴量は逆順に再計算する。
• この手法は、アンロールネットワークの各レイヤーが可逆であることに依存しており、出力から順に各レイヤーの順方向パスを再評価することで勾配を計算できる。
• アンロール再構成は、MoDLフレームワークを用いて定式化され、各アンロールはCNNベースの正則化レイヤーと、共役勾配法を用いて解くデータ整合性（DC）レイヤーが交互に配置される。
• DCレイヤーは、符号化演算子の随伴作用素とTikhonov正則化項を含む閉形式解を用いて実装される。
• 正則化レイヤーで用いられる残差CNNノイズ除去器は可逆であることがMELの再計算戦略にとって不可欠である。
• 学習は1つの12GB GPUで実施され、MELにより、通常はメモリ制限を超えるモデルの学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 メモリ効率の学習（MEL）は、3次元（3D）および2次元＋時間（2D+time）MRIのような高次元データにおける、深層学習ベースのアンロールMRI再構成モデルの学習を可能にするか？
• RQ2 MELにより可能になったアンロール数の増加は、高次元MRIにおける画像品質および定量的指標の向上をもたらすか？
• RQ3 MELで学習されたモデルは、完全にスキャンされた真値データが得られない前向きにアンダーサンプリングされたデータに対しても一般化可能であり、臨床的耐性を示すか？
• RQ4 高次元MRI再構成において、MELは標準的なバックプロパゲーションと比較して、メモリ使用量と学習時間の点で優れているか？

主な発見

• 3D MoDLにMELを適用した場合、生体内3D膝関節MRIでpSNR 32.11 ± 2.05 dBを達成し、2D MoDLおよびPICSを上回った。
• 2D+time MoDLにMELを適用し10アンロールで学習した場合、心筋シンエスMRIでpSNR 27.42 ± 3.21 dBを達成し、4アンロールベースラインと比較して0.6 dBの向上を示した。
• 10アンロールの2D+time MoDLにMELを適用した場合、4アンロールバージョンと比較して、より自然な動きプロファイルと、より明確に解像されたピヤリル筋を再現した。
• 3D MoDLにMELを適用した場合、3D MRIにおいてPICSおよび2D MoDLと比較して、SSIM（0.830 ± 0.038）とFID（41.48）の両方で優れた結果を示した。
• 前向きにアンダーサンプリングされた3D FSE膝関節スキャンにおいて、3D MoDLにMELを適用した場合、スキャンパラメータの不一致にもかかわらず、よりシャープなエッジと細かなテクスチャを保持した。
• 視覚的および定量的評価から、MELが、コントラストの向上、テクスチャの連続性、動きの忠実度の向上を含む、画像品質の向上を実現する高次元再構成を可能にすることが確認された。