[논문 리뷰] k-t NEXT: Dynamic MR Image Reconstruction Exploiting Spatio-temporal Correlations

Chen Qin, Jo Schlemper외 5명|arXiv (Cornell University)|2019. 07. 22.

Advanced MRI Techniques and Applications참고 문헌 18인용 수 4

한 줄 요약

이 논문은 동적 MRI 영상 복원을 위한 딥러닝 기반 방법인 k-t NEXT를 제안한다. 이 방법은 공간-시간 상관관계를 활용하기 위해 영상 도메인과 x-f(공간-주파수) 도메인을 반복적으로 번갈아가며 처리한다. x-f-CNN을 사용해 앨리어징된 k-t 데이터를 복원하고, CRNN을 통해 시간적 동역학을 모델링함으로써 고도로 저 sampling된 조건에서도 최신 기술들보다 뛰어난 영상 품질을 달성한다. PSNR 향상은 최대 34.23 dB에 이르며, HFEN은 0.196까지 감소한다.

ABSTRACT

Dynamic magnetic resonance imaging (MRI) exhibits high correlations in k-space and time. In order to accelerate the dynamic MR imaging and to exploit k-t correlations from highly undersampled data, here we propose a novel deep learning based approach for dynamic MR image reconstruction, termed k-t NEXT (k-t NEtwork with X-f Transform). In particular, inspired by traditional methods such as k-t BLAST and k-t FOCUSS, we propose to reconstruct the true signals from aliased signals in x-f domain to exploit the spatio-temporal redundancies. Building on that, the proposed method then learns to recover the signals by alternating the reconstruction process between the x-f space and image space in an iterative fashion. This enables the network to effectively capture useful information and jointly exploit spatio-temporal correlations from both complementary domains. Experiments conducted on highly undersampled short-axis cardiac cine MRI scans demonstrate that our proposed method outperforms the current state-of-the-art dynamic MR reconstruction approaches both quantitatively and qualitatively.

연구 동기 및 목표

• 제한된 k-t 공간 샘플링 조건에서 고속도 동적 MRI 복원에 도전한다.
• k-t 공간과 영상 도메인 양쪽에서 공간-시간 중복성을 활용하여 복원 정밀도를 향상시킨다.
• 각 프레임을 별개로 처리하거나 영상 도메인 모델링에만 의존하는 기존 딥러닝 방법의 한계를 극복한다.
• x-f 도메인과 영상 도메인을 번갈아가며 복원하는 보완적인 신호 구조를 포착하기 위해 공동 학습 프레임워크를 개발한다.
• 고도로 저 sampling된 조건에서 동적 심장 싸이클 MRI 복원에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• x-f 도메인과 영상 도메인을 번갈아가며 처리하는 새로운 반복적 복원 프레임워크인 k-t NEXT를 제안한다.
• x-f 도메인에서 앨리어징된 k-t 데이터로부터 진짜 신호를 복원하기 위해 xf-CNN을 사용하며, 희박성과 중복성을 활용한다.
• 영상 도메인에서 시간적 의존성을 모델링하기 위해 합성곱 순환 신경망(CRNN)을 통합한다.
• 복원 과정을 번갈아가며 최적화하는 방식으로 설정한다: x-f 도메인에서는 xf-CNN 업데이트, 영상 도메인에서는 CRNN 업데이트.
• 잔차 학습을 통해 영상 업데이트를 예측하는 방식으로 네트워크를 종합적으로 최적화하여 엔드 투 엔드로 학습한다.
• 3D 합성곱층을 적용하고 데이터 공유 및 잔차 연결을 도입하여 CRNN 모듈의 특징 학습 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 x-f 도메인과 영상 도메인 양쪽에서 공간-시간 상관관계를 동시에 모델링하면 단일 도메인 방법보다 동적 MRI 복원 성능이 향상되는가?
• RQ2 x-f 도메인과 영상 도메인 간의 반복적 번갈아 복원 방식이 종단간 단일 도메인 학습에 비해 영상 품질을 어떻게 향상시키는가?
• RQ3 xf-CNN 구성 요소가 x-f 도메인에서 직접 복원함으로써 앨리어징 아티팩트를 어느 정도 감소시키는가?
• RQ4 고도로 저 sampling된 조건에서 k-t FOCUSS, CRNN-MRI, DS+3DCNN과 같은 최신 기술들과 비교해 k-t NEXT는 정량적·정성적으로 어떻게 성능을 내는가?
• RQ5 시간 평균화나 보간에 의존하는 방법들과 비교해 제안된 방법이 더 나은 공간적·시간적 세부 정보를 유지하는가?

주요 결과

• 9× 저 sampling 조건에서 k-t NEXT는 PSNR 34.23 dB를 기록하여 다음으로 우수한 방법(33.24 dB)을 크게 앞서며 뛰어난 성능을 보였다.
• 12× 저 sampling 조건에서 k-t NEXT는 PSNR 33.18 dB를 달성하여 CRNN-MRI(31.30 dB)와 DS+3DCNN(32.46 dB)를 모두 앞섰다.
• 9× 저 sampling 조건에서 k-t NEXT는 HFEN 값 0.196을 기록하여 고주파 영상 세부 정보의 보존 능력이 뛰어나다는 것을 시사한다.
• 9× 저 sampling 조건에서 k-t NEXT의 SSIM 값은 0.979에 도달하여 모든 기준 방법들을 초월하며 진짜 영상과의 구조 유사도가 매우 높음을 보였다.
• 시각적 비교 결과, k-t NEXT는 특히 좌심실과 같은 동적 영역에서 더 선명하고 아티팩트가 적은 영상을 생성함을 확인했다.
• x-f 도메인의 시각화 결과는 앨리어징 아티팩트가 효과적으로 억제되었으며, 복원된 x-f 영상이 진짜 영상과 매우 유사함을 확인했다.