[논문 리뷰] A Deep Cascade of Convolutional Neural Networks for Dynamic MR Image Reconstruction

Jo Schlemper, José Caballero외 3명|arXiv (Cornell University)|2017. 04. 08.

Advanced MRI Techniques and Applications참고 문헌 35인용 수 17

한 줄 요약

이 논문은 카르테시안 샘플링을 사용하여 고도로 미리 샘플링된 k-공간 데이터로부터 동적 심장 MRI 영상 재구성에 위한 깊이 다중 캐스케이드 컨volution 신경망(CNN)을 제안한다. 데이터 일관성 레이어를 통합하고 시공간 상관관계를 활용함으로써, 이 방법은 뛰어난 재구성 정확도와 속도를 달성한다—전체 동적 시퀀스를 10초 이내로 재구성하고, 개별 프레임은 23ms 내로 재구성하여, 상태기반 압축 센싱 및 사전학습 방법을 능가한다. 심지어 11배의 과도한 샘플링 조건에서도 해부학적 구조를 충실하게 유지한다.

ABSTRACT

Inspired by recent advances in deep learning, we propose a framework for reconstructing dynamic sequences of 2D cardiac magnetic resonance (MR) images from undersampled data using a deep cascade of convolutional neural networks (CNNs) to accelerate the data acquisition process. In particular, we address the case where data is acquired using aggressive Cartesian undersampling. Firstly, we show that when each 2D image frame is reconstructed independently, the proposed method outperforms state-of-the-art 2D compressed sensing approaches such as dictionary learning-based MR image reconstruction, in terms of reconstruction error and reconstruction speed. Secondly, when reconstructing the frames of the sequences jointly, we demonstrate that CNNs can learn spatio-temporal correlations efficiently by combining convolution and data sharing approaches. We show that the proposed method consistently outperforms state-of-the-art methods and is capable of preserving anatomical structure more faithfully up to 11-fold undersampling. Moreover, reconstruction is very fast: each complete dynamic sequence can be reconstructed in less than 10s and, for the 2D case, each image frame can be reconstructed in 23ms, enabling real-time applications.

연구 동기 및 목표

• 이미지 품질을 유지하면서도 고도로 가속된 k-공간 샘플링을 가능하게 함으로써 동적 심장 MRI를 가속화하는 것.
• 극한의 미리 샘플링 조건을 다룰 때 전통적인 압축 센싱 및 사전학습 방법의 한계를 극복하는 것.
• 딥 러닝을 통해 동적 MRI 시퀀스의 시공간 중복성을 활용하는 것.
• 임상 적용에 적합한 실시간 재구성 프레임워크를 개발하는 것.

제안 방법

• 각 단계가 컨볼루션 특징 학습과 데이터 일관성 강제 사이를 번갈아 가며 진행되는 깊이 다중 캐스케이드 아키텍처를 사용한다.
• 데이터 일관성 레이어는 현재 재구성 결과를 측정된 k-공간 영역으로 다시 투영함으로써 k-공간 일관성을 강제한다.
• 재구성 정밀도를 향상시키기 위해 L2 손실과 데이터 일관성 제약 조건을 조합하여 엔드 투 엔드로 네트워크를 훈련시킨다.
• 시공간 상관관계는 시퀀스 내 프레임 간 특징 공유를 통해 모델링되어 공동 재구성을 가능하게 한다.
• 일반화 능력을 향상시키기 위해 다양한 카르테시안 미리 샘플링 마스크를 사용하여 후행적으로 미리 샘플링된 데이터로 훈련한다.
• 한정된 훈련 데이터를 고려하여 과적합을 방지하기 위해 광범위한 데이터 증강 기법을 적용한다.

실험 결과

연구 질문

• RQ1 깊이 다중 CNN 아키텍처가 고도로 미리 샘플링된 동적 심장 MRI 영상 재구성에서 전통적인 압축 센싱 및 사전학습 방법을 능가할 수 있는가?
• RQ2 깊이 다중 캐스케이드 모델이 동적 MRI 시퀀스의 시공간 중복성을 얼마나 효과적으로 학습하고 활용할 수 있는가?
• RQ3 제안된 방법이 임상 적용에 적합한 실시간 재구성 속도를 달성할 수 있는가?
• RQ4 다양한 카르테시안 미리 샘플링 패턴과 높은 가속도 요인에 대해 모델의 강건성은 어떠한가?
• RQ5 명시적인 재훈련 없이도 네트워크가 새로운 미리 샘플링 마스크에 얼마나 잘 일반화되는가?

주요 결과

• 제안된 방법은 재구성 오차와 속도 측면에서 최신 2D 압축 센싱 및 사전학습 접근법을 모두 능가한다.
• 11배의 미리 샘플링 조건에서도 경쟁 방법보다 해부학적 구조를 더 충실하게 유지한다. 특히 극한의 가속도 조건에서도 마찬가지다.
• 전체 동적 MRI 시퀀스는 10초 이내로 재구성되며, 개별 2D 영상 프레임은 단 23ms 내로 재구성되어 실시간 응용이 가능하다.
• 모델은 다양한 카르테시안 미리 샘플링 마스크에 잘 일반화되며, 사전 훈련을 통해 여러 가속도 수준에서 미리 훈련한 후 미세조정이 가능하다.
• 효과적인 데이터 증강과 局소적 수신장 설계 덕분에 훈련 데이터가 제한된 상황에서도 높은 성능을 유지한다.
• 극한의 미리 샘플링 조건에 대해 강건성을 보이며, 기존의 희박성 기반 가정을 초월하는 효과적인 영상 사전 지식을 학습한다.