[논문 리뷰] Memory-efficient Learning for High-Dimensional MRI Reconstruction

Ke Wang, Michael Kellman외 6명|arXiv (Cornell University)|2021. 03. 06.

Advanced MRI Techniques and Applications참고 문헌 21인용 수 5

한 줄 요약

이 논문은 단일 12GB GPU를 사용하여 3D 및 2D+시간과 같은 고차원 데이터(예: 3D 및 2D+시간 MRI)에서 딥러닝 기반의 편향된 MRI 재구성 모델을 훈련할 수 있도록 메모리 효율적 학습(MEL)을 제안한다. 역전파 동안 중간 활성화를 다시 계산함으로써 저장하지 않고, 이를 통해 MEL은 메모리 사용을 N(편향 수) 배 감소시키며 계산량은 약간 증가할 뿐이므로, 날카운 테두리와 향상된 지표를 보이는 더 나은 영상 품질을 달성할 수 있다. 이는 3D 및 심장 씨네 MRI 데이터셋에서 실재 환자 데이터를 대상으로 성능을 입증한다.

ABSTRACT

Deep learning (DL) based unrolled reconstructions have shown state-of-the-art performance for under-sampled magnetic resonance imaging (MRI). Similar to compressed sensing, DL can leverage high-dimensional data (e.g. 3D, 2D+time, 3D+time) to further improve performance. However, network size and depth are currently limited by the GPU memory required for backpropagation. Here we use a memory-efficient learning (MEL) framework which favorably trades off storage with a manageable increase in computation during training. Using MEL with multi-dimensional data, we demonstrate improved image reconstruction performance for in-vivo 3D MRI and 2D+time cardiac cine MRI. MEL uses far less GPU memory while marginally increasing the training time, which enables new applications of DL to high-dimensional MRI.

연구 동기 및 목표

• 3D 및 2D+시간 MRI와 같은 고차원 데이터에서 딥러닝 기반의 편향된 MRI 재구성 모델의 훈련을 제한하는 GPU 메모리 한계를 극복하기 위해.
• 편향된 재구성 네트워크에서 더 많은 수의 편향(unroll)을 사용할 수 있도록 하여 더 세밀한 공간적 및 시간적 무늬를 포착함으로써 영상 품질을 향상시키기 위해.
• 메모리 효율적 학습(MEL)이 표준 하드웨어(단일 12GB GPU)에서 복잡한 고차원 MRI 재구성 모델을 훈련시킬 수 있으며 성능을 저하시키지 않음을 입증하기 위해.
• MEL을 통해 고차원 레이어의 재현성을 활용함으로써 정량적 지표와 임상적으로 관련된 영상 품질 향상이 이루어지는지 검증하기 위해.

제안 방법

• MEL은 역전파 동안 모든 N개의 편향 활성화를 저장하는 대신, 중간 특징을 역순으로 다시 계산함으로써 백프로파게이션 중에 한 번에 한 레이어의 활성화만 저장함으로써 메모리 사용을 줄인다.
• 이 방법은 편향 네트워크의 각 레이어가 가역적이므로, 출력에서부터 역순으로 각 레이어의 순방향 전파를 다시 평가함으로써 기울기를 계산할 수 있도록 한다.
• 편향된 재구성은 MoDL 프레임워크를 사용하여 수식화되며, 각 편향은 CNN 기반 정규화 레이어와 공액 기울기 방법을 통해 해결되는 데이터 일致성(DC) 레이어를 번갈아가며 적용한다.
• DC 레이어는 코어 연산자의 수반 연산과 티호노프 정규화 항을 포함하는 폐형 해법을 사용하여 구현된다.
• 정규화 레이어에서 사용된 잔차 CNN 디노이징기는 가역적이며, 이는 MEL의 재계산 전략에 필수적이다.
• 훈련은 단일 12GB GPU에서 수행되며, MEL은 메모리 한계를 초과하는 모델 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 메모리 효율적 학습(MEL)은 3D 및 2D+시간 MRI와 같은 고차원 데이터에서 딥러닝 기반의 편향된 MRI 재구성 모델 훈련을 가능하게 할 수 있는가?
• RQ2 MEL 덕분에 가능해진 더 많은 수의 편향을 사용한 편향된 재구성에서, 고차원 MRI에서 영상 품질과 정량적 지표가 향상되는가?
• RQ3 MEL로 훈련된 모델은 완전히 샘플링된 기준값이 없는 프로스펙티브로 과도하게 샘플링된 데이터에 일반화되는가? 이는 임상적 내성성을 시사한다.
• RQ4 고차원 MRI 재구성에서 표준 백프로파게이션과 비교해 MEL은 메모리 사용과 훈련 시간 측면에서 어떻게 다른가?

주요 결과

• 3D MoDL에 MEL를 적용한 결과, 실재 환자 3D 무릎 MRI에서 pSNR 32.11 ± 2.05 dB를 기록하여 2D MoDL 및 PICS를 초월했다.
• 2D+시간 MoDL에 MEL와 10개의 편향을 적용한 결과, 심장 씨네 MRI에서 pSNR 27.42 ± 3.21 dB를 기록하여 4편향 기준보다 0.6 dB 향상되었다.
• 2D+시간 MoDL에 MEL와 10편향을 적용한 결과, 4편향 버전 대비 더 자연스러운 운동 프로파일과 더 선명한 피아르미컬러스를 구현했다.
• 3D MoDL에 MEL를 적용한 결과, 3D MRI에서 PICS 및 2D MoDL 대비 더 뛰어난 SSIM(0.830 ± 0.038)과 FID(41.48)를 기록했다.
• 프로스펙티브로 과도하게 샘플링된 3D FSE 무릎 스캔에서, 3D MoDL에 MEL를 적용한 결과 스캔 파rameter 불일치에도 불구하고 더 날카운 테두리와 세밀한 무늬를 유지했다.
• 시각적 및 정량적 결과는 MEL가 더 나은 대trast, 무늬 연속성, 운동 충실도를 제공하는 고차원 재구성 영상 품질 향상에 기여함을 확인했다.