[논문 리뷰] Physics-Driven Deep Learning for Computational Magnetic Resonance Imaging

Kerstin Hammernik, Thomas Küstner외 5명|arXiv (Cornell University)|2022. 03. 23.

Advanced MRI Techniques and Applications인용 수 4

한 줄 요약

이 논문은 계산적 자기공명영상(MRI)을 위한 물리 기반 딥러닝 방법에 대한 종합적인 리뷰를 제시한다. MRI 신호 형성의 물리 모델을 신경망에 통합하여 이미지 복원 성능을 햖थ한다. 손실 함수, 언롤드 네트워크, 플러그-앤플레이 프레임워크, 생성 모델에 물리 기반 요소를 통합함으로써, 가속화 및 다중 대조 MRI에서 선형 및 비선형 역문제에 대해 최신 기술 수준의 복원 정확도를 달성한다.

ABSTRACT

Physics-driven deep learning methods have emerged as a powerful tool for computational magnetic resonance imaging (MRI) problems, pushing reconstruction performance to new limits. This article provides an overview of the recent developments in incorporating physics information into learning-based MRI reconstruction. We consider inverse problems with both linear and non-linear forward models for computational MRI, and review the classical approaches for solving these. We then focus on physics-driven deep learning approaches, covering physics-driven loss functions, plug-and-play methods, generative models, and unrolled networks. We highlight domain-specific challenges such as real- and complex-valued building blocks of neural networks, and translational applications in MRI with linear and non-linear forward models. Finally, we discuss common issues and open challenges, and draw connections to the importance of physics-driven learning when combined with other downstream tasks in the medical imaging pipeline.

연구 동기 및 목표

• 순수 데이터 기반 딥러닝의 한계를 보완하기 위해 MRI 신호 형성의 물리 지식을 통합하기 위해.
• 물리 기반 요소를 학습 기반 프레임워크에 통합하여 가속화 및 비카르테시안 MRI에서의 이미지 복원 성능을 향상시키기 위해.
• 공유 표현을 통해 이미지 복원과 후속 작업(예: 세그멘테이션 및 운동 보정)을 동시에 최적화할 수 있도록 하기 위해.
• 복잡한 실수 값 및 다중 코일 MRI 시스템에 물리 기반 학습을 적용할 때의 주요 과제를 규명하기 위해.
• 임상 적용을 위한 물리 기반 모델링과 딥러닝 간 격차를 메우기 위해.

제안 방법

• 블로흐 방정식에서 유도된 물리 기반 전방 모델을 사용하여, T1, T2, 오프레온런스, 운동, 확산 효과를 포함하는 명시적 신호 모델 M(ρ(r),ϑ,t,r)를 통해 딥러닝에 통합한다.
• 예측된 이미지와 k-space 측정치 간의 일致성을 보장하기 위해 전방 연산자 E를 통해 정의된 y = E x + n를 활용한 물리 기반 손실 함수를 사용한다.
• 반복적 복원 단계(예: 데이터 일치 및 노이즈 제거)를 딥 네트워크의 레이어로 모델링한 언롤드 최적화 네트워크를 적용한다.
• 노이즈 제거 단계를 사전 훈련된 네트워크로 대체하면서도 데이터 일치 레이어에서 물리적 제약 조건을 유지하는 플러그-앤플레이 방법을 적용한다.
• 잠재 공간에서 물리적 제약 조건을 준수하면서 데이터로부터 사전 지식을 학습하기 위해 생성 모델 및 오토에인코더를 활용한다.
• 실수 값 MRI 데이터 및 동적 촬영을 다루기 위해 복소수 신경망 및 시공간 모델링과 같은 도메인 전용 구성 요소를 통합한다.

실험 결과

연구 질문

• RQ1 물리 기반 신호 모델은 어떻게 딥러닝 아키텍처에 효과적으로 통합되어 MRI 복원 성능을 향상시킬 수 있는가?
• RQ2 가속화 및 비카르테시안 MRI에서 순수 데이터 기반 방법에 비해 물리 기반 딥러닝이 얼마나 높은 성능 향상을 이룰 수 있는가?
• RQ3 물리 기반 학습은 세그멘테이션 또는 운동 보정과 같은 후속 작업과 함께 이미지 복원을 어떻게 확장할 수 있는가?
• RQ4 복잡한 실수 값 및 다중 코일 MRI 시스템에 물리 기반 학습을 적용할 때의 주요 과제는 무엇인가?
• RQ5 물리 기반 모델은 의료 영상 파이프라인에서 일반화 능력과 임상 적용 가능성을 향상시킬 수 있는가?

주요 결과

• 물리 기반 딥러닝 방법은 물리 일치 조건을 강제함으로써, 과도하게 샘플링된 및 가속화된 MRI 데이터 복원에서 순수 데이터 기반 접근보다 유의미하게 뛰어난 성능을 보인다.
• 물리 기반 데이터 일치 레이어를 갖춘 언롤드 네트워크는 비카르테시안 및 다중 코일 촬영에서 최신 기술 수준의 복원 품질을 달성한다.
• 공유 인코더를 사용한 복원 및 세그멘테이션 네트워크의 동시 훈련은 UK Biobank 및 MRBrainS 데이터셋에서 순차적 훈련 대비 세그멘테이션 정확도 향상을 보였다.
• 손실 함수에 해부학적 형태 사전 지식이나 운동 필드와 같은 도메인 지식을 통합함으로써, 약한 또는 반감독 학습 환경에서도 강건성이 향상된다.
• 데이터 일치 레이어에서 물리적 제약 조건을 유지하는 플러그-앤플레이 프레임워크는 사전 훈련된 노이즈 제거기의 탄력적 통합을 가능하게 하면서도 이미지 품질을 유지한다.
• 딥러닝에 물리 기반 요소를 통합함으로써 더 나은 일반화 능력과 k-space 데이터에서부터 세그멘테이션과 같은 후속 작업까지 직접 엔드 투 엔드 최적화가 가능해질 수 있다.