[논문 리뷰] Contrastive Learning for Local and Global Learning MRI Reconstruction

Qiaosi Yi, Jinhao Liu외 3명|arXiv (Cornell University)|2021. 11. 30.

Advanced MRI Techniques and Applications참고 문헌 47인용 수 5

한 줄 요약

이 논문은 공간 도메인과 푸리에 도메인 학습을 통합하는 공간-푸리에 레이어(Spatial and Fourier Layer, SFL)를 통해 국소적이고 전역적인 이미지 구조를 모두 포착하는 새로운 MRI 재구성 네트워크인 CLGNet을 제안한다. 또한, 과도하게 샘플링된 이미지로부터의 해를 끌어당기고 부족하게 샘플링된 입력으로부터는 밀어내는 대비 학습을 통해 해의 공간을 제약함으로써 재구성 성능을 향상시킨다. 이 방법은 다양한 데이터셋과 가속률에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Magnetic Resonance Imaging (MRI) is an important medical imaging modality, while it requires a long acquisition time. To reduce the acquisition time, various methods have been proposed. However, these methods failed to reconstruct images with a clear structure for two main reasons. Firstly, similar patches widely exist in MR images, while most previous deep learning-based methods ignore this property and only adopt CNN to learn local information. Secondly, the existing methods only use clear images to constrain the upper bound of the solution space, while the lower bound is not constrained, so that a better parameter of the network cannot be obtained. To address these problems, we propose a Contrastive Learning for Local and Global Learning MRI Reconstruction Network (CLGNet). Specifically, according to the Fourier theory, each value in the Fourier domain is calculated from all the values in Spatial domain. Therefore, we propose a Spatial and Fourier Layer (SFL) to simultaneously learn the local and global information in Spatial and Fourier domains. Moreover, compared with self-attention and transformer, the SFL has a stronger learning ability and can achieve better performance in less time. Based on the SFL, we design a Spatial and Fourier Residual block as the main component of our model. Meanwhile, to constrain the lower bound and upper bound of the solution space, we introduce contrastive learning, which can pull the result closer to the clear image and push the result further away from the undersampled image. Extensive experimental results on different datasets and acceleration rates demonstrate that the proposed CLGNet achieves new state-of-the-art results.

연구 동기 및 목표

• 기존의 딥 러닝 방법이 전역적 맥락과 유사한 패치를 충분히 모델링하지 못해 구조적 세부 정보가 뚜렷한 MRI 영상을 재구성하는 데에 한계를 보이는 문제를 해결하기 위해.
• MRI 재구성의 불안정한 성질을 해결하기 위해 해의 공간의 상한과 하한을 모두 제약함으로써.
• 자기주의와 트랜스포머에 비해 계산 비용을 줄이고 효율적인 전역적 특징 학습을 위한 대안을 개발하기 위해.
• 공간 도메인과 웨이블릿 도메인에서의 공동 학습을 통해 영상 재구성 품질을 향상시키기 위해.

제안 방법

• 표준 컨볼루션과 빠른 푸리에 컨볼루션을 조합하여 공간 도메인의 국소적 특징과 푸리에 도메인의 전역적 의존성을 동시에 학습하는 공간-푸리에 레이어(SFL)를 제안한다.
• CLGNet의 핵심 구성 요소로 사용되는 공간-푸리에 잔차 블록(SFRB)과 그 잔차 변형(SFRIR)을 설계하여 다중 도메인 간 효과적인 특징 학습을 가능하게 한다.
• 네트워크 출력을 완전 샘플링된(명확한) 이미지에 가까이 끌고, 부족하게 샘플링된 입력으로부터는 멀어지게 하는 대비 학습 손실을 도입함으로써 해의 공간의 상한과 하한을 동시에 제약한다.
• 스파arsity를 활용하여 구조적 세부 정보 복구를 향상시키기 위해 공간 브랜치와 웨이블릿 브랜치를 갖춘 이중 브랜치 아키텍처를 구현한다.
• SFL 내부에서 빠른 푸리에 변환(FFT)과 역 빠른 푸리에 변환(IFFT)을 사용하여 자기주의나 트랜스포머와 같은 고비용 기법 없이도 전역적 수신 영역을 확보한다.
• 표준 컨볼루션 네트워크와 비교해도 매개변수 수와 FLOPs가 크게 증가하지 않도록 하여 모델의 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 공간 도메인과 푸리에 도메인에서의 공동 학습이 국소적이고 전역적인 이미지 구조를 포착함으로써 MRI 재구성 품질을 향상시킬 수 있는가?
• RQ2 제안된 SFL 레이어가 더 낮은 계산 비용으로 자기주의나 트랜스포머보다 전역적 맥락을 더 효과적으로 학습할 수 있는가?
• RQ3 대비 학습이 해의 공간 상한과 하한을 제약함으로써 재구성 품질 향상에 얼마나 기여하는가?
• RQ4 웨이블릿 브랜치가 MRI 재구성에서 구조적 세부 정보 복구에 얼마나 효과적인가?
• RQ5 제안된 CLGNet이 다양한 데이터셋과 가속률에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• CLGNet은 CC-359 Brain를 포함한 여러 데이터셋에서 새로운 최신 기술 수준의 성능을 달성하였으며, 다양한 가속률에서 PSNR와 SSIM 모두에 있어 뚜렷한 향상이 있었다.
• 제거 실험 결과 웨이블릿 브랜치를 제거하면 성능이 뚜렷이 저하됨을 확인하여, 이 브랜치가 구조적 세부 정보 복구에 기여하고 있음을 입증하였다.
• SFL을 자기주의나 트랜스포머 레이어로 대체할 경우 성능 저하와 함께 런타임이 크게 증가하여, SFL이 효율성과 효과성 면에서 뛰어나다는 것을 입증하였다.
• 대비 학습 손실을 도입함으로써 기준 모델 대비 PSNR가 4 dB 향상되었으며, 이는 해의 공간 제약에 효과적임을 증명한다.
• 대비 학습에서 음성 샘플을 제거하면 성능이 악화됨을 확인하여, 하한 제약이 보다 나은 해를 찾는 데 필수적임을 확인하였다.
• 표준 컨볼루션 대비 SFL 모듈이 런타임과 FLOPs를 거의 증가시키지 않아 계산 효율성이 뛰어나다는 것을 확인하였다.