[논문 리뷰] Extending LOUPE for K-space Under-sampling Pattern Optimization in Multi-coil MRI

Jinwei Zhang, Hang Zhang외 6명|arXiv (Cornell University)|2020. 07. 28.

Advanced MRI Techniques and Applications참고 문헌 27인용 수 8

한 줄 요약

이 논문은 원래 LOUPE 프레임워크를 다중 코ils MRI에서 k-space의 부족 샘플링 패턴 최적화를 위해 확장하며, 자극된 k-space 데이터 대신 실재의 다중 코일 k-space 데이터를 학습에 사용하고, 기울기 역전파를 가능하게 하기 위해 직선 통과 추정기(straight-through estimator)를 사용하는 이진 스토하스틱 샘플링 레이어를 도입하며, 재구성에 대해 수정된 언롤드 최적화 네트워크를 사용한다. 이 방법은 뛰어난 영상 재구성 성능(PSNR: 42.6 dB, SSIM: 0.968)을 달성하고 기존의 수작업으로 만든 가변 밀도 패턴보다 더 우수한 일반화 성능을 보였다. 이는 기존의 재구성 방법과 함께 사용되었을 때 성능이 뛰어나다.

ABSTRACT

The previously established LOUPE (Learning-based Optimization of the Under-sampling Pattern) framework for optimizing the k-space sampling pattern in MRI was extended in three folds: firstly, fully sampled multi-coil k-space data from the scanner, rather than simulated k-space data from magnitude MR images in LOUPE, was retrospectively under-sampled to optimize the under-sampling pattern of in-vivo k-space data; secondly, binary stochastic k-space sampling, rather than approximate stochastic k-space sampling of LOUPE during training, was applied together with a straight-through (ST) estimator to estimate the gradient of the threshold operation in a neural network; thirdly, modified unrolled optimization network, rather than modified U-Net in LOUPE, was used as the reconstruction network in order to reconstruct multi-coil data properly and reduce the dependency on training data. Experimental results show that when dealing with the in-vivo k-space data, unrolled optimization network with binary under-sampling block and ST estimator had better reconstruction performance compared to the ones with either U-Net reconstruction network or approximate sampling pattern optimization network, and once trained, the learned optimal sampling pattern worked better than the hand-crafted variable density sampling pattern when deployed with other conventional reconstruction methods.

연구 동기 및 목표

• 실제의 실재 다중 코일 k-space 데이터를 사용하여 기존의 크기 영상에서 유도된 시뮬레이션 데이터 대신 학습함으로써 다중 코일 MRI에서 k-space의 부족 샘플링 패턴 최적화를 향상시키는 것.
• 샘플링 패턴 최적화 과정에서의 학습 가능성을 향상시키기 위해 근사적인 스토하스틱 샘플링을 이진 스토하스틱 샘플링 레이어와 직선 통과 추정기를 사용하는 것으로 대체함으로써 기울기 역전파를 가능하게 하는 것.
• 큰 학습 데이터 세트에 대한 의존도를 줄이기 위해 학습된 정규화 항을 포함한 수정된 언롤드 최적화 네트워크를 사용하여 다중 코일 데이터 재구성에 적합한 방법을 도입하는 것.
• 학습된 샘플링 패턴이 기존의 표준 재구성 방법(예: ESPIRiT, TGV 등)과 함께 사용되었을 때 수작업으로 만든 가변 밀도 패턴보다 더 우수한 일반화 성능을 보이는지 평가하는 것.

제안 방법

• 임상 MRI 스캐너에서 확보한 실재 다중 코일 k-space 데이터를 후행적으로 샘플링하여 원래 LOUPE에서 사용된 시뮬레이션된 k-space 데이터를 대체함.
• 샘플링 패턴 학습 과정에서 비가역적인 임계값 연산을 통해 기울기 역전파를 가능하게 하기 위해 직선 통과 추정기를 사용하는 이진 스토하스틱 샘플링 레이어 도입.
• 다중 코일 MRI 데이터를 더 잘 재구성하고 데이터 일관성을 잘 유지하기 위해 LOUPE에서 사용된 U-Net을 대체하여 학습된 정규화 항을 포함한 수정된 언롤드 최적화 네트워크 채택.
• 완전 샘플링된 k-space에서의 중간 재구성 결과와 진짜 영상 간의 L1 손실을 사용하여 샘플링 패턴 최적화 네트워크와 재구성 네트워크를 함께 학습함.
• 고정된 샘플링 비율 10%를 사용하며 중심 25×25 k-space 영역은 완전히 샘플링하고, RTX 2080Ti GPU에서 200 에포크 동안 Adam 옵timizer를 사용해 학습함.

실험 결과

연구 질문

• RQ1 실제의 실재 다중 코일 k-space 데이터를 사용하여 학습하는 것이 시뮬레이션된 데이터를 사용하는 것보다 k-space 샘플링 패턴 최적화 성능을 향상시키는가?
• RQ2 직선 통과 추정기를 사용하는 이진 스토하스틱 샘플링 레이어가 LOUPE에서 사용된 근사적인 스토하스틱 샘플링보다 학습 과정에서 더 우수한 성능을 보이는가?
• RQ3 수정된 언롤드 최적화 네트워크가 U-Net 대비 큰 학습 데이터 세트에 대한 의존도를 줄이고 다중 코일 MRI 재구성 품질을 향상시키는가?
• RQ4 기존의 표준 재구성 방법(예: ESPIRiT, TGV 등)과 함께 사용되었을 때 학습된 샘플링 패턴이 수작업으로 만든 가변 밀도 패턴보다 더 잘 일반화되는가?

주요 결과

• MoDL + BS(이진 샘플링과 ST 추정기를 포함한 언롤드 네트워크) 구성이 테스트 데이터에서 최고의 PSNR 42.6 ± 1.1 dB과 SSIM 0.968 ± 0.012를 기록하여 다른 모든 조합을 압도함.
• 재구성 및 오차 지도에서 빨간색으로 표시된 시각적 확인을 통해 MoDL + BS 구성이 U-Net 및 AS 변종 대비 노이즈를 크게 줄이고 구조적 세부 정보를 향상시킴.
• 모든 재구성 방법(ESPIRiT, TGV, MoDL)에서 학습된 샘플링 패턴이 일관되게 가변 밀도(VD) 패턴을 능가하여 더 높은 PSNR 및 SSIM 값을 기록함.
• 기존의 재구성 방법과 함께 사용되었을 때 절대 오차 지도에서 학습된 샘플링 패턴은 VD 패턴보다 낮은 전반적 오차와 더 선명한 구조적 세부 정보를 제공함.
• 이 방법은 강력한 일반화 성능을 보였으며, 한 번 학습된 최적의 샘플링 패턴은 비학습 기반 재구성 알고리즘과 함께 사용되었을 때도 재구성 성능을 향상시킴.