[논문 리뷰] Data and Physics Driven Learning Models for Fast MRI -- Fundamentals and Methodologies from CNN, GAN to Attention and Transformers

Jiahao Huang, Yingying Fang외 10명|arXiv (Cornell University)|2022. 04. 01.

Radiomics and Machine Learning in Medical Imaging인용 수 4

한 줄 요약

이 논문은 빠른 자기공명영상(비디오) 재구성에 대한 데이터 기반 및 물리학 기반 딥러닝 모델에 대한 종합적인 리뷰를 제시한다. 컨volutional 네트워크(CNNs), 생성적 적대적 네트워크(GANs), 주의 메커니즘, 트랜스포머를 포함한다. 물리학 기반의 MRI 제약 조건을 데이터 기반 학습과 융합함으로써 재구성 정확도 향상, 다양한 스캐너 간 일반화 능력 향상, 임상 적용 가능성 향상이 가능하며, 특히 피어드 학습과 해석 가능한 인공지능(XAI)을 통해 이를 실현할 수 있음을 보여준다.

ABSTRACT

Research studies have shown no qualms about using data driven deep learning models for downstream tasks in medical image analysis, e.g., anatomy segmentation and lesion detection, disease diagnosis and prognosis, and treatment planning. However, deep learning models are not the sovereign remedy for medical image analysis when the upstream imaging is not being conducted properly (with artefacts). This has been manifested in MRI studies, where the scanning is typically slow, prone to motion artefacts, with a relatively low signal to noise ratio, and poor spatial and/or temporal resolution. Recent studies have witnessed substantial growth in the development of deep learning techniques for propelling fast MRI. This article aims to (1) introduce the deep learning based data driven techniques for fast MRI including convolutional neural network and generative adversarial network based methods, (2) survey the attention and transformer based models for speeding up MRI reconstruction, and (3) detail the research in coupling physics and data driven models for MRI acceleration. Finally, we will demonstrate through a few clinical applications, explain the importance of data harmonisation and explainable models for such fast MRI techniques in multicentre and multi-scanner studies, and discuss common pitfalls in current research and recommendations for future research directions.

연구 동기 및 목표

• 빠른 자기공명영상 재구성을 위한 최신 데이터 기반 딥러닝 모델(예: CNNs, GANs, 주의 메커니즘, 트랜스포머 포함)을 조사하기 위해.
• MRI 물리학 제약 조건(예: k-space 일관성)을 데이터 기반 모델에 통합하여 임상 전환 및 내구성 향상을 분석하기 위해.
• 다중 기관, 다중 스캐너 자기공명영상 연구에서의 데이터 통합 및 해석 가능한 인공지능(XAI)의 중요성을 강조하기 위해.
• 다양한 기관 간에 원시 데이터를 공유하지 않고도 개인정보 보호를 유지하면서도 강건하고 일반화 가능한 빠른 자기공명영상 재구성 모델을 훈련할 수 있는 피어드 학습 프레임워크의 잠재력을 탐색하기 위해.
• 재현 가능하고 해석 가능하며 임상적으로 적용 가능한 빠른 자기공명영상 기술 개발에 있어 주요 과제와 향후 연구 방향을 규명하기 위해.

제안 방법

• 반복적 재구성 단계를 딥뉴럴넷 아키텍처에 통합한 언롤드 최적화 프레임워크를 검토하여, 미분 가능 구성 요소를 활용한 엔드 투 엔드 훈련이 가능하도록 한다.
• 낮은 샘플링 비율에서의 자기공명영상 재구성에서 시각적 품질과 구조적 정합성을 향상시키기 위해 생성적 적대적 네트워크(GANs)의 사용을 분석한다.
• k-space 또는 이미지 공간에서 장거리 의존성을 모델링하는 주의 메커니즘과 비전 트랜스포머(ViTs)에 대해 상세히 기술하며, 이는 재구성 정확도 향상에 기여한다.
• k-space 데이터와의 일관성을 확보하기 위해 물리학 기반 MRI 모델(예: 전방 및 후방 MRI 연산자)을 딥넷워크 내의 미분 가능 레이어로 통합하는 것이 강조된다.
• 피어드 학습은 원시 데이터를 공유하지 않고도 다수의 기관 간에 모델을 훈련시킬 수 있는 방법으로, 개인정보 보호 및 다양한 스캐너 플랫폼 간의 모델 일반화 향상에 기여한다.
• 특히 다중 스캐너 및 다중 기관 환경에서 임상 의사결정에 신뢰를 구축하기 위해 모델의 투명성과 신뢰도를 높이기 위해 해석 가능한 인공지능(XAI) 기법을 권장한다.

실험 결과

연구 질문

• RQ1 CNNs, GANs, 트랜스포머와 같은 딥러닝 모델이 이미지 품질을 유지하면서 빠른 자기공명영상 재구성을 효과적으로 적용할 수 있는 방법은 무엇인가?
• RQ2 물리학 기반 MRI 모델(예: k-space 일관성)을 데이터 기반 딥러닝 아키텍처에 통합할 때의 이점과 한계는 무엇인가?
• RQ3 피어드 학습은 다중 기관 및 다중 스캐너 환경에서 강건하고 개인정보 보호가 보장된 빠른 자기공명영상 재구성 모델의 훈련을 어떻게 가능하게 하는가?
• RQ4 데이터 통합 및 해석 가능한 인공지능(XAI)은 데이터 기반 빠른 자기공명영상 기술의 재현 가능성과 임상적 수용도 향상에 어떤 역할을 하는가?
• RQ5 다양한 딥러닝 기반 빠른 자기공명영상 방법을 평가하고 비교하는 데 있어 주요 과제는 무엇이며, 새로운 표준을 수립하기 위해선 어떻게 해야 하는가?

주요 결과

• CNNs 및 GANs와 같은 데이터 기반 딥러닝 모델은 전통적인 반복적 방법에 비해 자기공명영상 재구성을 크게 가속화하며, 거의 실시간 성능을 달성한다.
• 물리학 기반 제약 조건(예: 데이터 일관성 레이어)을 딥넷워크에 통합함으로써 다양한 스캔 프로토콜 및 하드웨어 간 재구성 정확도 향상과 일반화 능력 향상이 가능하다.
• 트랜스포머와 주의 메커니즘은 k-space 내 장거리 의존성을 효과적으로 모델링하여 저샘플링 자기공명영상에서 구조적 세부 정보 향상 및 잡음 감소에 기여한다.
• 피어드 학습은 원시 데이터를 공유하지 않고도 다양한 스캐너 플랫폼 간에 강건하고 일반화 가능한 빠른 자기공명영상 모델을 훈련시킬 수 있도록 하여 개인정보 보호 및 모델 일반화 능력 향상에 기여한다.
• 해석 가능한 인공지능(XAI) 기법은 특히 다중 기관 연구에서 임상의사의 신뢰를 구축하고 모델 예측의 투명성을 확보하는 데 핵심적인 역할을 한다.
• 다양한 매개변수를 기반으로 한 정량적 자기공명영상(qMRI)은 데이터 기반 빠른 자기공명영상 기술을 통해 발전할 전망이며, MR 프린팅 및 산란 텐서 영상과 같은 기법을 통해 조직 미세구조 변화의 조기 탐지가 가능해진다.