[논문 리뷰] Joint Frequency- and Image-Space Learning for Fourier Imaging.

Nalini Singh, Juan Eugenio Iglesias외 3명|arXiv (Cornell University)|2020. 07. 02.

Advanced MRI Techniques and Applications참고 문헌 46인용 수 7

한 줄 요약

이 논문은 MRI에서 푸리에 이미지 복원을 향상시키기 위해 주파수 영역 및 이미지 영역 표현을 동시에 학습하는 새로운 신경망 레이어를 제안한다. k-공간에서의 아티팩트 보정과 이미지 공간에서의 구조적 정밀화를 통합함으로써, 과도 샘플링, 운동 보정, 노이즈 제거 작업 전반에 걸쳐 뛰어난 일관성 있는 이미지 품질을 달성한다. 순수하게 주파수 또는 이미지 기반 딥러닝 접근 방식을 초월한다.

ABSTRACT

We propose a neural network layer structure that combines frequency and image feature representations for robust Fourier image reconstruction. Our work is motivated by the challenges in magnetic resonance imaging (MRI) where the acquired signal is a corrupted Fourier transform of the desired image. The proposed layer structure enables both correction of artifacts native to the frequency-space and manipulation of image-space representations to reconstruct coherent image structures. This is in contrast to the current deep learning approaches for image reconstruction that manipulate data solely in the frequency-space or solely in the image-space. We demonstrate the advantages of the proposed joint learning on three diverse tasks including image reconstruction from undersampled acquisitions, motion correction, and image denoising in brain MRI. Unlike purely image based and purely frequency based architectures, the proposed joint model produces consistently high quality output images. The resulting joint frequency- and image-space feature representations promise to significantly improve modeling and reconstruction of images acquired in the frequency-space. Our code is available at this https URL.

연구 동기 및 목표

• 현재의 딥러닝 방법들이 MRI 복원에서 주로 주파수 영역 또는 이미지 영역에서만 작동하는 데서 비롯되는 한계를 해결하기 위해.
• k-공간과 이미지 영역 양쪽에서 특징을 동시에 모델링하여 이미지 복원 품질을 향상시키기 위해.
• 주파수 영역 데이터에 내재된 아티팩트를 보정하면서도 이미지의 구조적 일관성을 유지하기 위해.
• 양쪽 영역 간의 엔드 투 엔드 학습을 가능하게 하는 통합 신경망 레이어를 개발하기 위해.

제안 방법

• 주파수 영역(k-공간)과 이미지 영역 표현 양쪽에서 특징를 처리하고 융합하는 새로운 신경망 레이어를 도입한다.
• 병렬로 k-공간과 이미지 영역에서 특징를 추출하고 정밀화하기 위해 이중 브랜치 아키텍처를 사용한다.
• 학습 가능한 변환을 적용하여 k-공간에서의 아티팩트를 보정하고 이미지 영역에서의 구조적 일관성을 향상시킨다.
• 양쪽 브랜치에서 유도된 특징를 통합하기 위해 공유 표현 헤드를 활용하여 공동 최적화를 수행한다.
• 이미지 복원 품질에 맞춰 조정된 손실 함수를 사용하여 모델을 엔드 투 엔드로 훈련시킨다.
• 통합된 표현을 활용하여 다양한 MRI 복원 작업에 대해 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 주파수 영역과 이미지 영역에서의 동시 학습이 단일 영역 접근 방식을 초월하여 MRI 복원 품질을 향상시킬 수 있는가?
• RQ2 과도 샘플링 MRI 복원에서 제안된 방법이 순수 주파수 기반 또는 이미지 기반 모델보다 어떻게 성능을 발휘하는가?
• RQ3 통합 모델은 뇌 MRI에서 운동 아티팩트와 노이즈를 어느 정도 보정할 수 있는가?
• RQ4 k-공간과 이미지 영역 특징의 융합은 더 일관되고 구조적으로 잘 정렬된 이미지 출력을 이끌어낼 수 있는가?
• RQ5 제안된 레이어는 아키텍처 재설계 없이도 여러 MRI 복원 작업에 일반화될 수 있는가?

주요 결과

• 모든 평가된 작업에서 순수 주파수 기반 또는 이미지 기반 딥러닝 모델보다 제안된 통합 모델이 일관되게 더 높은 품질의 이미지 복원을 생성한다.
• 과도 샘플링된 k-공간 데이터로부터의 이미지 복원에서 뛰어난 성능을 발휘하여 아티팩트를 감소시키고 미세한 구조를 유지한다.
• k-공간의 비일관성과 이미지 영역의 일관성에 대한 동시 모델링 덕분에 운동 보정 성능이 크게 향상된다.
• 노이즈 제거 결과는 뇌 MRI에서 해부학적 세부 구조를 유지하면서도 노이즈 억제 성능을 향상시킨다.
• 통합된 특징 표현은 다양한 임상 시나리오에서 더 강건하고 안정적인 복원을 이끌어낸다.