[논문 리뷰] Spatiotemporal implicit neural representation for unsupervised dynamic MRI reconstruction

Jie Feng, Ruimin Feng외 4명|arXiv (Cornell University)|2022. 12. 31.

Advanced MRI Techniques and Applications인용 수 8

한 줄 요약

이 논문은 고도로 미리 샘플링된 k-space 데이터로부터 동적 MRI 재구성에 대해 비지도 스펙트로시아 temporal 은닉 신경 표현(INR)을 제안한다. 입력으로 시공간 좌표만을 사용하고, 데이터 일致성과 명시적 저질서/희박성 정규화를 통해 INR를 최적화한다. 이 방법은 최신 기술 수준의 성능을 달성하여 심장 씨네 데이터에서 41.6× 가속화 조건에서 PSNR를 5.5–7.1 dB 향상시키며, 뛰어난 내부 연속성을 유지해 추가 학습 없이 고품질의 시간 초해상도 재구성을 가능하게 한다.

ABSTRACT

Supervised Deep-Learning (DL)-based reconstruction algorithms have shown state-of-the-art results for highly-undersampled dynamic Magnetic Resonance Imaging (MRI) reconstruction. However, the requirement of excessive high-quality ground-truth data hinders their applications due to the generalization problem. Recently, Implicit Neural Representation (INR) has appeared as a powerful DL-based tool for solving the inverse problem by characterizing the attributes of a signal as a continuous function of corresponding coordinates in an unsupervised manner. In this work, we proposed an INR-based method to improve dynamic MRI reconstruction from highly undersampled k-space data, which only takes spatiotemporal coordinates as inputs. Specifically, the proposed INR represents the dynamic MRI images as an implicit function and encodes them into neural networks. The weights of the network are learned from sparsely-acquired (k, t)-space data itself only, without external training datasets or prior images. Benefiting from the strong implicit continuity regularization of INR together with explicit regularization for low-rankness and sparsity, our proposed method outperforms the compared scan-specific methods at various acceleration factors. E.g., experiments on retrospective cardiac cine datasets show an improvement of 5.5 ~ 7.1 dB in PSNR for extremely high accelerations (up to 41.6-fold). The high-quality and inner continuity of the images provided by INR has great potential to further improve the spatiotemporal resolution of dynamic MRI, without the need of any training data.

연구 동기 및 목표

• 큰 규모의 고품질 참조 데이터셋에 의존하는 지도 학습 기반의 딥러닝 기법이 동적 MRI에 적용될 때 나타나는 일반화 한계를 해결하기 위해.
• 특히 참조 데이터가 확보되지 않는 DCE-MRI와 같이 데이터 부족 및 촬영 제약이 존재하는 동적 MRI 환경을 극복하기 위해.
• 외부 데이터나 사전 학습 모델 없이도 고도로 미리 샘플링된 k-space 데이터로부터 고품질 영상 복원을 가능하게 하는 학습 불필요한 비지도 재구성 방법을 개발하기 위해.
• 외부 사전 지식이나 사전 영상 없이도 운동의 정확성과 시간적 연속성을 유지하기 위해.
• 학습된 INR 함수의 내재된 연속성을 활용해 추가 학습 없이도 더 높은 시간 샘플링 속도에서의 보간을 가능하게 하여 시간 초해상도를 실현하기 위해.

제안 방법

• 스펙트로시아 시간 좌표 (k, t) 를 입력으로 사용하여 다층 퍼셉트론(MLP)을 통해 동적 MRI를 연속적인 은닉 함수로 표현하기 위해.
• 수집된 미리 샘플링된 k-space 데이터만을 사용하여 INR를 학습하고, 미분 가능한 손실 함수를 통해 데이터 일치 조건을 강제하기 위해.
• 시간적·공간적 일관성을 증진하기 위해 저질서 구조(핵형 노름)와 희박성(L1 노름)에 대한 명시적 정규화를 통합하기 위해.
• 외부 학습 데이터나 사전 학습 모델이 필요 없이 경사 하강법을 통해 INR 파라미터를 최적화하기 위해.
• 학습 효율성과 표현 품질 향상을 위해 해시 격자(hash grids)를 통한 계층적 특징 표현을 활용하기 위해.
• 더 빈도 높은 시간 좌표에서 최적화된 INR을 쿼리함으로써 추가 학습 없이도 시간 초해상도를 실현하기 위해.

실험 결과

연구 질문

• RQ1 외부 학습 데이터나 참조 영상 없이도 은닉 신경 표현(INR)이 고도로 미리 샘플링된 동적 MRI 시퀀스를 재구성할 수 있는가?
• RQ2 극도로 높은 가속도 요인에서 INR의 내재된 연속성이 운동의 정확성과 시간 역학을 얼마나 잘 유지하는가?
• RQ3 학습된 INR가 원래 촬영 속도를 초월해 시간 초해상도를 어느 정도 지원할 수 있는가?
• RQ4 재구성 품질과 강인성 측면에서 기존의 CS 기반 및 비지도 딥러닝 방법과 비교해 본다면, 제안된 방법은 어떠한가?
• RQ5 명시적 저질서 및 희박성 정규화가 INR 기반 동적 MRI 재구성의 성능에 미치는 영향은 어떠한가?

주요 결과

• 제안된 방법은 후행적 심장 씨네 데이터셋에서 41.6× 가속화 조건에서 기준 방법 대비 PSNR를 5.5–7.1 dB 향상시켰다.
• 특히 초고속 가속도 조건에서 전통적인 CS 기반 방법(L+S, GRASP)보다 잡음 억제 및 구조 보존 측면에서 뛰어난 성능을 보였다.
• INR 기반 재구성은 강력한 내부 연속성을 보이며, 선형 보간과의 시각적·정량적 비교를 통해 4배 가속화된 고품질의 시간 초해상도 재구성을 가능하게 했다.
• 재구성된 영상들은 높은 시간적 정확성을 유지하며, 특히 심장 캄라의 운동 전이가 부드럽게 관찰되었다.
• 이 방법은 완전히 비지도이며 학습 데이터나 사전 영상이 전혀 필요 없어 다양한 가속도 비율에 걸쳐 뛰어난 일반화 능력을 보였다.
• 추가 학습이나 모델링 없이도 최적화된 INR을 더 빈도 높은 시간 좌표에서 쿼리함으로써 시간 초해상도 기능을 실현하였으며, 이는 구현 복잡성을 감소시켰다.