[논문 리뷰] Convolutional Recurrent Neural Networks for Dynamic MR Image Reconstruction

Chen Qin, Jo Schlemper외 4명|arXiv (Cornell University)|2017. 12. 05.

Advanced MRI Techniques and Applications참고 문헌 25인용 수 29

한 줄 요약

이 논문은 동적 MRI 시퀀스의 시간적 의존성과 기존 복원 알고리즘의 반복적 성격을 함께 모델링하는 새로운 컨volutional 순환 신경망인 CRNN-MRI를 제안한다. 시간 프레임과 최적화 반복 단계 모두에 순환 숨은 연결을 통합함으로써, 특히 고도로 부족한 샘플링 비율에서 최신 기술 대비 뛰어난 복원 정확도와 속도를 달성한다.

ABSTRACT

Accelerating the data acquisition of dynamic magnetic resonance imaging (MRI) leads to a challenging ill-posed inverse problem, which has received great interest from both the signal processing and machine learning community over the last decades. The key ingredient to the problem is how to exploit the temporal correlation of the MR sequence to resolve the aliasing artefact. Traditionally, such observation led to a formulation of a non-convex optimisation problem, which were solved using iterative algorithms. Recently, however, deep learning based-approaches have gained significant popularity due to its ability to solve general inversion problems. In this work, we propose a unique, novel convolutional recurrent neural network (CRNN) architecture which reconstructs high quality cardiac MR images from highly undersampled k-space data by jointly exploiting the dependencies of the temporal sequences as well as the iterative nature of the traditional optimisation algorithms. In particular, the proposed architecture embeds the structure of the traditional iterative algorithms, efficiently modelling the recurrence of the iterative reconstruction stages by using recurrent hidden connections over such iterations. In addition, spatiotemporal dependencies are simultaneously learnt by exploiting bidirectional recurrent hidden connections across time sequences. The proposed algorithm is able to learn both the temporal dependency and the iterative reconstruction process effectively with only a very small number of parameters, while outperforming current MR reconstruction methods in terms of computational complexity, reconstruction accuracy and speed.

연구 동기 및 목표

• 매우 부족한 k-space 데이터로부터 고해상도의 동적 심장 MRI 영상을 복원하는 문제를 해결한다.
• 수렴 속도가 느리고 정규화 선택에 민감한 전통적인 최적화 기반 방법의 한계를 극복한다.
• 수작업으로 정의된 정규화 없이 딥 러닝을 활용해 공간-시간 전제 조건을 암묵적으로 학습한다.
• 동적 시퀀스의 시간적 부재성과 반복적 복원 과정에 내재된 반복성을 효과적으로 포착할 수 있는 신경망 아키텍처를 설계한다.
• 기존의 딥 러닝 및 최적화 기반 접근법보다 더 빠르고 정확한 동적 MRI 복원을 달성한다.

제안 방법

• 변수 분할과 교차 최소화를 사용해 동적 MRI 복원 문제를 수식화하고, 이를 신경망 아키텍처로 전개한다.
• 반복적 복원 단계 간의 정보 공유를 위해 순환 숨은 연결을 활용하는 CRNN 블록을 설계하며, 이는 프락시멀 연산자 역할을 한다.
• 시간에 걸쳐 양방향 순환 유닛을 통합해 공간-시간 의존성을 활용하고, 시퀀스 전반에 걸쳐 맥락 정보를 전파한다.
• 각 반복 단계에서 확보된 k-space 데이터에 대한 일致성(일致성)을 보장하기 위해 CRNN 블록과 데이터 일치성 레이어를 통합한다.
• 부족한 데이터에서의 복원 오차를 최소화하도록 엔드 투 엔드로 네트워크를 훈련시킨다.
• 반복성에 대해 일반적인 RNN 유닛을 사용하며, 공간적 특징을 모델링하기 위해 컨볼루션 레이어를 통합함으로써 공간적 및 시간적 동역학을 함께 학습한다.

실험 결과

연구 질문

• RQ1 순환 신경망은 MRI 복원에서 전통적인 최적화 알고리즘의 반복적 성격을 효과적으로 모델링할 수 있는가?
• RQ2 양방향 순환 유닛은 동적 MRI 시퀀스에서 장거리 시간적 의존성을 포착함으로써 복원 품질을 향상시킬 수 있는가?
• RQ3 반복 단계 간에 공유된 은닉 상태를 가진 CRNN 아키텍처는 표준 3D CNN에 비해 복원 정확도와 파rameter 효율성 측면에서 뛰어나게 되는가?
• RQ4 아웃라이어가 심한 고부족 샘플링 비율에서 제안된 방법의 성능은 어떠한가?
• RQ5 표준 CNN에 비해 네트워크 아키텍처가 특징 표현의 부재를 얼마나 줄이는가?

주요 결과

• CRNN-MRI는 다양한 부족 샘플링 비율에서 기존 최신 기술 대비 복원 정확도와 속도 면에서 뛰어난 성능을 보였다.
• 매우 적은 파rameter를 가짐에도 불구하고 3D CNN보다 더 높은 정확도를 달성함으로써, 뛰어난 파rameter 효율성을 입증했다.
• 오차 맵 분석 결과, 복원 오차는 주로 움직임이 있는 영역, 특히 좌심실과 우심실 부근에 국한되어 있었다.
• CRNN의 중간 특징 활성화는 동적 해부학적 구조에 더 민감하게 반응함을 보여, 고수준의 공간-시간 패턴을 더 잘 포착하고 있음을 시사했다.
• 특징 맵 간의 코사인 거리 측정 결과, CRNN는 3D-CNN보다 더 작은 값을 보였으며, 이는 부재 감소와 더 효율적인 정보 전파를 의미한다.
• 반복적 연결으로 인한 더 큰 효과적 수신장으로 인해, 배경 영역의 노이즈를 효과적으로 제거하는 데 성공했으며, 이는 3D-CNN과는 대조적으로 나타났다.