[論文レビュー] A Deep Cascade of Convolutional Neural Networks for Dynamic MR Image Reconstruction

Jo Schlemper, José Caballero+3 more|arXiv (Cornell University)|Apr 8, 2017

Advanced MRI Techniques and Applications参考文献 35被引用数 17

ひとこと要約

本論文は、カーディナルスケーリングを用いた高度にアンダーサンプルされたk空間データから動的心筋MRI再構成を行うための、畳み込みニューラルネットワーク（CNN）のディープカスケードを提案する。データ整合性レイヤーを統合し、空間的・時間的相関を活用することで、優れた再構成精度と高速性を達成した。全動的シーケンスの再構成は10秒未塔、個々のフレームは23msで完了し、最先端の圧縮センシングおよび辞書学習手法を上回った。11倍のアンダーサンプリングでも解剖的構造の忠実な再現が保証された。

ABSTRACT

Inspired by recent advances in deep learning, we propose a framework for reconstructing dynamic sequences of 2D cardiac magnetic resonance (MR) images from undersampled data using a deep cascade of convolutional neural networks (CNNs) to accelerate the data acquisition process. In particular, we address the case where data is acquired using aggressive Cartesian undersampling. Firstly, we show that when each 2D image frame is reconstructed independently, the proposed method outperforms state-of-the-art 2D compressed sensing approaches such as dictionary learning-based MR image reconstruction, in terms of reconstruction error and reconstruction speed. Secondly, when reconstructing the frames of the sequences jointly, we demonstrate that CNNs can learn spatio-temporal correlations efficiently by combining convolution and data sharing approaches. We show that the proposed method consistently outperforms state-of-the-art methods and is capable of preserving anatomical structure more faithfully up to 11-fold undersampling. Moreover, reconstruction is very fast: each complete dynamic sequence can be reconstructed in less than 10s and, for the 2D case, each image frame can be reconstructed in 23ms, enabling real-time applications.

研究の動機と目的

• 高精度な画像品質を維持しながら、極めて高速なk空間サンプリングを可能にする動的心筋MRIの高速化。
• 極端なアンダーサンプリングに対処する際、従来の圧縮センシングおよび辞書学習の限界を克服すること。
• ディープラーニングを用いて動的MRIシーケンス内の空間的・時間的冗長性を活用すること。
• 臨床応用に適したリアルタイム再構成フレームワークの開発。

提案手法

• 各段階が畳み込み特徴抽出とデータ整合性の強制を交互に繰り返す、ディープカスケードアーキテクチャを採用。
• データ整合性レイヤーは、現在の再構成を測定済みのk空間ドメインに再投影することで、k空間整合性を確保する。
• 再構成忠実度を向上させるために、L2損失とデータ整合性制約を組み合わせたエンドツーエンド学習を実施。
• フレーム間の特徴共有により、時間的相関をモデル化し、連携再構成を可能にした。
• 一般化能力を向上させるために、さまざまなカーディナルアンダーサンプリングマスクを用いて、事後的にアンダーサンプルされたデータで学習した。
• 限られたトレーニングデータを考慮し、過学習を防ぐために広範なデータオーグメンテーションを適用した。

実験結果

リサーチクエスチョン

• RQ1 ディープCNNアーキテクチャは、高密度にアンダーサンプルされた動的心筋MRI画像の再構成において、従来の圧縮センシングおよび辞書学習手法を上回ることができるか？
• RQ2 ディープカスケードモデルは、動的MRIシーケンス内の空間的・時間的冗長性をどれほど効果的に学習・活用できるか？
• RQ3 提案手法は、臨床用途に適したリアルタイム再構成速度を達成できるか？
• RQ4 さまざまなカーディナルアンダーサンプリングパターンおよび高い加速率に対して、モデルの頑健性はどの程度か？
• RQ5 明示的な再トレーニングなしに、未観測のアンダーサンプリングマスクへ一般化できる範囲はどの程度か？

主な発見

• 提案手法は、再構成誤差と速度の両面で、最先端の2次元圧縮センシングおよび辞書学習手法を上回った。
• 11倍のアンダーサンプリングでも、競合手法よりも解剖的構造をより忠実に再現した。
• 全動的MRシーケンスの再構成は10秒未塔、個々の2次元画像フレームはわずか23msで完了し、リアルタイム応用が可能となった。
• 任意のカーディナルアンダーサンプリングマスクへ良好な一般化が可能であり、事前学習を複数の加速率で行い、微調整が可能である。
• 効果的なデータオーグメンテーションと局所的受容野設計のおかげで、限られたトレーニングデータでも高い性能を維持した。
• 極端なアンダーサンプリングに対しても頑健であり、従来のスパarsityに基づく仮定を上回る効果的な画像事前知識を学習した。