[論文レビュー] Convolutional Recurrent Neural Networks for Dynamic MR Image Reconstruction

Chen Qin, Jo Schlemper+4 more|arXiv (Cornell University)|Dec 5, 2017

Advanced MRI Techniques and Applications参考文献 25被引用数 29

ひとこと要約

本論文では、動的MRIシーケンスにおける時間的依存性と従来の再構成アルゴリズムの反復的性質を統合的にモデル化する新しい畳み込み再帰ニューラルネットワーク、CRNN-MRIを提案する。時間フレームおよび最適化反復ステップの両方に再帰的隠れ接続を埋め込むことで、特に高いアンダーサンプリング率において、最先端の手法に比べて優れた再構成精度と速度を達成する。

ABSTRACT

Accelerating the data acquisition of dynamic magnetic resonance imaging (MRI) leads to a challenging ill-posed inverse problem, which has received great interest from both the signal processing and machine learning community over the last decades. The key ingredient to the problem is how to exploit the temporal correlation of the MR sequence to resolve the aliasing artefact. Traditionally, such observation led to a formulation of a non-convex optimisation problem, which were solved using iterative algorithms. Recently, however, deep learning based-approaches have gained significant popularity due to its ability to solve general inversion problems. In this work, we propose a unique, novel convolutional recurrent neural network (CRNN) architecture which reconstructs high quality cardiac MR images from highly undersampled k-space data by jointly exploiting the dependencies of the temporal sequences as well as the iterative nature of the traditional optimisation algorithms. In particular, the proposed architecture embeds the structure of the traditional iterative algorithms, efficiently modelling the recurrence of the iterative reconstruction stages by using recurrent hidden connections over such iterations. In addition, spatiotemporal dependencies are simultaneously learnt by exploiting bidirectional recurrent hidden connections across time sequences. The proposed algorithm is able to learn both the temporal dependency and the iterative reconstruction process effectively with only a very small number of parameters, while outperforming current MR reconstruction methods in terms of computational complexity, reconstruction accuracy and speed.

研究の動機と目的

• 高アンダーサンプリングされたk-spaceデータから高品質な動的心筋MRI画像を再構成する課題に対処する。
• 収束が遅く、正則化の選択に敏感であるなどの従来の最適化ベース手法の限界を克服する。
• 手作業による正則化を用いずに、深層学習によって空間時間的事前知識を暗黙的に学習する。
• 動的シーケンスにおける時間的再冗長性と、反復的再構成プロセスに内在する再帰性を効果的に捉えるニューラルアーキテクチャを設計する。
• 動的MRIの再構成において、従来の深層学習および最適化ベースの手法に比べ、より高速かつ高精度な再構成を達成する。

提案手法

• 変数分割と交互最小化を用いて動的MRI再構成問題を定式化し、それをニューラルネットワークアーキテクチャにアンロールする。
• 再帰的隠れ接続を用いて反復的再構成ステップ間で情報を共有するプロキシマル演算子として機能するCRNNブロックを設計する。
• 時間軸に沿って双方向再帰ユニットを統合し、空間時間的依存性を活用し、文脈情報をシーケンス全体にわたって伝搬する。
• 各反復ステップで取得されたk-spaceデータへの忠実度を保証するデータ整合性レイヤーとCRNNブロックを統合する。
• アンダーサンプリングデータ上の再構成誤差を最小化するように、エンドツーエンドでネットワークを訓練する。
• 再帰性にバニラRNNユニットを用い、空間的特徴をモデル化するための畳み込み層を組み合わせることで、空間的および時間的ダイナミクスの共同学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 再帰的ニューラルネットワークは、MRI再構成における従来の最適化アルゴリズムの反復的性質を効果的にモデル化できるか？
• RQ2 双方向再帰ユニットは、動的MRIシーケンスにおける長距離時間的依存性を捉えることで再構成品質を向上させられるか？
• RQ3 反復ステップ間で隠れ状態を共有するCRNNアーキテクチャは、標準的な3D CNNに比べ、再構成精度とパラメータ効率の両面で優れているか？
• RQ4 アーリアスが顕著に現れる高アンダーサンプリング要因下で、本手法はどのように性能を発揮するか？
• RQ5 標準的なCNNに比べ、ネットワークのアーキテクチャが特徴表現の冗長性をどの程度低減しているか？

主な発見

• CRNN-MRIは、さまざまなアンダーサンプリング率において、既存の最先端手法に比べて再構成精度と速度の両面で優れている。
• パラメータ数が著しく少ないにもかかわらず、3D CNNに比べて高い精度を達成しており、優れたパラメータ効率を示している。
• 誤差マップでは、再構成誤差が主に動きのある領域、特に左心室および右心室周辺に局在していることが示された。
• CRNN内の中間特徴活性化は、動的解剖的構造に対してより感受性が高く、高レベルの空間時間的パターンをよりよく捉えていると考えられる。
• 特徴マップ間のペアワイズコサイン距離は、CRNNにおいて3D-CNNよりも小さく、冗長性が低く、情報伝達がより効率的であることを示している。
• 反復ステップ間の再帰的接続による有効な受容 field の拡大により、CRNNアーキテクチャは背景領域のノイズ除去を効果的に行うのに対し、3D-CNNはその効果が限定的である。