[논문 리뷰] Joint Frequency and Image Space Learning for MRI Reconstruction and Analysis

Nalini Singh, Juan Eugenio Iglesias외 3명|arXiv (Cornell University)|2020. 07. 02.

Medical Imaging Techniques and Applications인용 수 4

한 줄 요약

이 논문은 MRI 복원을 위한 새로운 신경망 레이어를 통해 주파수 도메인과 이미지 도메인 표현을 명시적으로 통합함으로써 주파수 도메인과 이미지 도메인을 동시에 학습하는 방법을 제안한다. 단일 아키텍처 내에서 두 도메인을 통합함으로써, 저속도 촬영, 운동, 노이즈로 인한 아티팩트를 종단 간 보정할 수 있으며, 기존의 표준 딥러닝 접근 방식에 비해 훈련 시간을 90% 감소시키면서도 뛰어난 이미지 품질을 달성한다.

ABSTRACT

We propose neural network layers that explicitly combine frequency and image feature representations and show that they can be used as a versatile building block for reconstruction from frequency space data. Our work is motivated by the challenges arising in MRI acquisition where the signal is a corrupted Fourier transform of the desired image. The proposed joint learning schemes enable both correction of artifacts native to the frequency space and manipulation of image space representations to reconstruct coherent image structures at every layer of the network. This is in contrast to most current deep learning approaches for image reconstruction that treat frequency and image space features separately and often operate exclusively in one of the two spaces. We demonstrate the advantages of joint convolutional learning for a variety of tasks, including motion correction, denoising, reconstruction from undersampled acquisitions, and combined undersampling and motion correction on simulated and real world multicoil MRI data. The joint models produce consistently high quality output images across all tasks and datasets. When integrated into a state of the art unrolled optimization network with physics-inspired data consistency constraints for undersampled reconstruction, the proposed architectures significantly improve the optimization landscape, which yields an order of magnitude reduction of training time. This result suggests that joint representations are particularly well suited for MRI signals in deep learning networks. Our code and pretrained models are publicly available at https://github.com/nalinimsingh/interlacer.

연구 동기 및 목표

• MRI 복원에서 주파수 도메인과 이미지 도메인을 별도로 처리하는 기존 딥러닝 방법의 한계를 해결하기 위해.
• 국소적인 주파수 도메인 손상이 재구성된 이미지에 미치는 전반적인 영향을 주로 도메인을 함께 모델링하여 극복하기 위해.
• 저속도 MRI 복원에 사용되는 언롤드 최적화 네트워크의 훈련 안정성과 수렴 성능을 향상시키기 위해.
• 모든 도메인 간 통합 표현 학습을 통해 직접적으로 운동, 노이즈, 저속도 촬영 아티팩트를 보정할 수 있도록 하기 위해.
• 통합 표현이 기존의 단일 도메인 접근 방식에 비해 더 높은 품질의 재구성과 더 빠른 훈련을 가능하게 함을 입증하기 위해.

제안 방법

• 주파수 도메인과 이미지 도메인 양쪽에서 동시 컨볼루션 연산을 수행하는 새로운 신경망 레이어를 도입하여, 두 도메인 간의 구조적 관계를 유지한다.
• 실수값 MRI 이미지의 특성을 반영하기 위해 주파수 도메인에서 공액 대칭성을 유지하도록 레이어를 설계한다.
• 저속도 MRI 복원을 위한 물리 기반 데이터 일致성 제약 조건을 갖춘 언롤드 최적화 프레임워크에 통합 레이어를 통합한다.
• 주파수 도메인과 이미지 도메인 연산 간에 공유된 파rameterization을 사용하여 아티팩트 보정의 종단 간 학습을 가능하게 한다.
• MoDL 스타일 아키텍처에 통합 레이어를 적용하여 기존의 이미지 도메인 컨볼루션을 대체함으로써 훈련 동역학을 향상시킨다.
• 주파수 도메인 손실과 SSIM, L2 손실 등의 이미지 도메인 지표를 조합하여 네트워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 주파수 도메인과 이미지 도메인에서의 통합 학습이 단일 도메인 딥러닝 방법에 비해 MRI 복원 품질을 향상시키는가?
• RQ2 통합 표현 학습이 언롤드 최적화 네트워크에서 훈련 안정성과 수렴 시간에 어떤 영향을 미치는가?
• RQ3 통합 레이어가 저속도 촬영, 운동, 노이즈 등 여러 종류의 MRI 아티팩트를 동시에 보정할 수 있는 정도는 어느 정도인가?
• RQ4 MoDL 아키텍처에 통합 레이어를 통합함으로써 사전 훈련이 필요 없어지며, 만약 그렇다면 훈련 시간은 얼마나 감소하는가?
• RQ5 주파수 도메인 손상으로 인한 전반적인 아티팩트를 보정하는 동안 국소적인 이미지 구조를 유지하거나 향상시킬 수 있는가?

주요 결과

• 통합 학습 아키텍처는 시뮬레이션 및 실제 멀티코일 MRI 데이터를 포함한 다양한 작업(운동 보정, 노이즈 제거, 저속도 복원)에서 일관되게 높은 품질의 재구성을 달성한다.
• MoDL 네트워크에 통합 레이어를 통합한 결과, 사전 훈련이 필요한 31시간에서 사전 훈련 없이도 단 4시간으로 훈련 총 시간이 감소하여 8.5배의 속도 향상을 달성했다.
• 통합 레이어를 사용한 네트워크는 사전 초기화 없이도 검증 SSIM ≥ 0.98를 달성했지만, 오직 이미지 도메인 컨볼루션만 사용한 네트워크는 K=5에서 사전 초기화 없이 수렴하지 못했다.
• 특히 극심한 저속도 촬영이나 운동으로 인한 고아티팩트 상황에서 단일 도메인 네트워크보다 더 선명하고 흐릿하지 않은 재구성을 생성했다.
• 통합 레이어 덕분에 최적화 경로가 크게 향상되어 복잡하고 조건이 나쁜 상황에서도 더 빠른 수렴과 안정적인 훈련이 가능했다.
• 극심한 저속도 촬영, 운동, 노이즈 등 다양한 MRI 촬영 과제에 대해 뛰어난 내성과 성능을 보였으며, 평가된 모든 조건에서 기존 최신 기술 수준의 접근 방식을 초월했다.