[논문 리뷰] A review and experimental evaluation of deep learning methods for MRI reconstruction

Arghya Pal, Yogesh Rathi|arXiv (Cornell University)|2021. 09. 17.

Advanced MRI Techniques and Applications인용 수 6

한 줄 요약

이 논문은 자기공명영상(MRI) 재구성 속도를 향상시키기 위한 딥러닝(DL) 기법을 검토하고 실험적으로 평가한다. 주로 이미지 도메인 및 k-space 기반 접근법에 초점을 맞추며, 다중 수신기 코ils를 활용한 병렬 영상 기법을 향상시킨다. 실험 결과, 전통적인 기법 대비 DL 기반 기법이 이미지 품질을 크게 향상시키고 잡음을 줄이는 것으로 나타났으며, 특히 인지적 손실 및 복소수 손실 설계를 통한 손실 함수 및 일반화 능력 향상에서 주요 성과를 이룩했다.

ABSTRACT

Following the success of deep learning in a wide range of applications, neural network-based machine-learning techniques have received significant interest for accelerating magnetic resonance imaging (MRI) acquisition and reconstruction strategies. A number of ideas inspired by deep learning techniques for computer vision and image processing have been successfully applied to nonlinear image reconstruction in the spirit of compressed sensing for accelerated MRI. Given the rapidly growing nature of the field, it is imperative to consolidate and summarize the large number of deep learning methods that have been reported in the literature, to obtain a better understanding of the field in general. This article provides an overview of the recent developments in neural-network based approaches that have been proposed specifically for improving parallel imaging. A general background and introduction to parallel MRI is also given from a classical view of k-space based reconstruction methods. Image domain based techniques that introduce improved regularizers are covered along with k-space based methods which focus on better interpolation strategies using neural networks. While the field is rapidly evolving with plenty of papers published each year, in this review, we attempt to cover broad categories of methods that have shown good performance on publicly available data sets. Limitations and open problems are also discussed and recent efforts for producing open data sets and benchmarks for the community are examined.

연구 동기 및 목표

• 빠르게 증가하고 있는 딥러닝 기반 MRI 재구성 기법들을 종합하고 요약하여 현재 최첨단 기법들의 포괄적인 개요를 제공하는 것.
• 공개된 데이터셋을 활용해 이미지 도메인 및 k-space 기반 아키텍처에 기반한 DL 기반 MRI 재구성 기법의 성능을 평가하는 것.
• 현재 DL 기법의 한계와 열린 문제, 특히 일반화 능력, 데이터 요구 조건, 수집 파rameter 변화에 대한 내성 등에 대해 규명하는 것.
• 다양한 기법 간 공정하고 재현 가능한 비교를 가능하게 하기 위해 오픈 데이터셋 및 기준 기준을 마련한 최근의 노력들을 검토하는 것.
• 진단적 활용에 핵심적인 병변 및 저SNR 데이터에서의 성능 평가를 통해 DL 기반 재구성의 임상 적용 가능성 평가하기

제안 방법

• 논문은 DL 기법을 두 가지 주요 유형으로 분류한다: 데이터 분포를 학습하는 생성 모델과, 희소 k-space에서 고품질 MR 영상으로의 역함수 매핑을 학습하는 비생성 모델.
• 이미지 도메인 기반 기법을 평가하며, 신경망을 학습된 정규화 요소로 활용해 재구성 정밀도를 향상시키고 잡음을 줄이는 방법을 분석한다.
• k-space 기반 기법을 검토하며, 기존 선형 또는 비선형 방법보다 더 효과적으로 누락된 k-space 선을 보간하는 데 신경망을 적용하는 방법을 분석한다.
• L2, SSIM, 그리고 새로운 인지적 손실(L_perp)을 포함한 다양한 손실 함수를 분석하며, 위상 일관성과 크기 보존을 우선시함으로써 세밀한 디테일 복원을 향상시킨다.
• 표준화된 벤치마크(예: fastMRI 데이터셋)를 사용해 다양한 희소화 패턴과 가속도 요소에 대해 공정한 평가를 수행한다.
• 최신 모델에서 사용된 아키텍처 혁신, 특히 다중 수신기 코일을 활용한 병렬 영상 환경에서의 U-Net 변종, 잔차 연결, 주의 메커니즘 등을 분석한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 MRI 재구성 기법이 전통적인 압축 감지 및 병렬 영상 기법에 비해 이미지 품질과 잡음 감소 측면에서 어떻게 비교되는가?
• RQ2 특히 세밀한 해부학적 디테일을 유지하는 데 있어, 복소수 MRI 재구성에서 딥러닝 모델을 훈련시키는 데 가장 효과적인 손실 함수는 무엇인가?
• RQ3 딥러닝 모델이 훈련 중에 볼 수 없었던 스캔 파rameter, 해상도 변화, 또는 훈련 데이터에 포함되지 않은 해부학적 영역으로의 일반화 능력은 어느 정도인가?
• RQ4 현재 딥러닝 기법의 주요 한계는 무엇인가? 특히 데이터 요구 조건, 병변에 대한 내성, 임상 적용 측면에서의 문제점은 무엇인가?
• RQ5 오픈 데이터셋과 표준화된 벤치마크는 어떻게 다양한 딥러닝 기법 간의 재현 가능성과 공정한 비교를 향상시킬 수 있는가?

주요 결과

• 제안된 인지적 손실 함수 L_perp는 위상 일관성을 우선시하고 크기 편향을 줄임으로써 세밀한 디테일 복원을 향상시키고 수렴 속도를 가속화한다.
• AUTOMAP와 같은 일부 딥러닝 모델은 자연 이미지에서 훈련되었음에도 불구하고 훈련 데이터에 없던 데이터에 강력한 일반화 능력을 보이지만, 메모리 제약으로 인해 고해상도 MRI에선 활용이 제한된다.
• 최신 기술 기반 모델들은 fastMRI 무릎 데이터셋에서 뛰어난 이미지 품질을 달성하지만, 저SNR 및 병변 데이터에서의 성능은 여전히 제한적이며 추가 검증이 필요하다.
• 현재 DL 기법은 훈련 데이터 분포에 매우 민감하며, 훈련 세트와 다른 해상도, 시야 범위, 또는 희소화 패턴을 가진 데이터를 테스트할 경우 성능 저하가 발생한다.
• 다양한 샘플링 방식을 포함한 표준화된 완전 샘플링 원시 데이터의 부족은 공정한 벤치마크를 방해하는 주요 과제이며, 이전에 가속화된 데이터는 결과에 편향을 줄 수 있다.
• 충분한 데이터가 확보될 경우 GAN 및 베이지안 네트워크는 미세한 해부학적 디테일을 재구성할 수 있지만, 대규모이고 다양한 데이터셋이 필요하며, 예상치 못한 임상 시나리오에선 일반화 능력이 떨어질 수 있다.