[논문 리뷰] Generative Adversarial Networks (GAN) Powered Fast Magnetic Resonance Imaging -- Mini Review, Comparison and Perspectives

Guang Yang, Jun Lv외 3명|arXiv (Cornell University)|2021. 05. 04.

Advanced MRI Techniques and Applications참고 문헌 87인용 수 5

한 줄 요약

이 논문은 빠른 자기공명영상(MRI)를 위한 GAN 기반 방법을 검토하고 비교하며, 기존의 압축 센싱 및 딥러닝 기반 방법에 비해 특히 중간 수준의 가속 요인에서 재구성 품질과 시각적 충실도를 크게 향상시키는 것으로 나타났지만, DAGAN 및 KIGAN과 같은 일부 아키텍처는 고도로 부족한 샘플링 비율에서 한계를 보임을 보여준다. RefineGAN은 향상된 정확도와 시각적 품질 덕분에 최고의 성능을 보이며, 향후 연구는 임상 적용을 위한 MRI 물리 모델과 설명 가능한 AI(Explainable AI) 통합에 집중할 것이다.

ABSTRACT

Magnetic Resonance Imaging (MRI) is a vital component of medical imaging. When compared to other image modalities, it has advantages such as the absence of radiation, superior soft tissue contrast, and complementary multiple sequence information. However, one drawback of MRI is its comparatively slow scanning and reconstruction compared to other image modalities, limiting its usage in some clinical applications when imaging time is critical. Traditional compressive sensing based MRI (CS-MRI) reconstruction can speed up MRI acquisition, but suffers from a long iterative process and noise-induced artefacts. Recently, Deep Neural Networks (DNNs) have been used in sparse MRI reconstruction models to recreate relatively high-quality images from heavily undersampled k-space data, allowing for much faster MRI scanning. However, there are still some hurdles to tackle. For example, directly training DNNs based on L1/L2 distance to the target fully sampled images could result in blurry reconstruction because L1/L2 loss can only enforce overall image or patch similarity and does not take into account local information such as anatomical sharpness. It is also hard to preserve fine image details while maintaining a natural appearance. More recently, Generative Adversarial Networks (GAN) based methods are proposed to solve fast MRI with enhanced image perceptual quality. The encoder obtains a latent space for the undersampling image, and the image is reconstructed by the decoder using the GAN loss. In this chapter, we review the GAN powered fast MRI methods with a comparative study on various anatomical datasets to demonstrate the generalisability and robustness of this kind of fast MRI while providing future perspectives.

연구 동기 및 목표

• 빠른 MRI 재구성에서 이미지 품질과 해부학적 세부 사항을 유지하면서 GAN 기반 딥러닝 모델의 가속화 성능을 평가하고 비교하는 것.
• 임상 MRI에서 흔히 발생하는 다양한 해부학적 구조와 부족 샘플링 패턴에서 GAN 기반 방법의 강건성과 일반화 능력을 조사하는 것.
• 특히 고가속 요인 또는 훈련 데이터에 존재하지 않는 병리학적 구조에서의 재구성 불안정성과 환영 현상 등 GAN 모델의 한계를 규명하는 것.
• GAN 기반 방법이 훈련 데이터에 존재하지 않는 병리학적 소견이나 다른 영상 프로토콜을 포함한 새로운 환자 데이터에 대해 제로 샷 추론 시나리오에 일반화 가능한지 평가하는 것.
• 임상적 신뢰성 향상을 위한 향후 연구 방향 제안, 즉 MRI 물리 모델 통합, 설명 가능한 AI(XAI), 그리고 개선된 훈련 전략 개발

제안 방법

• 생성적 적대적 네트워크(GANs)를 활용하여, 생성자 네트워크가 중증으로 부족한 k-space 데이터에서 고품질의 MRI 영상을 재구성하고, 판별자 네트워크가 진짜 영상과 생성된 영상을 구분함으로써 시각적 충실도를 향상시킴.
• 적대적 손실을 적용한 인코더-디코더 아키텍처를 사용하여 표준 오토인코더에서 흔히 발생하는 L1/L2 손실로 인한 흐릿함을 완화하고 국소적 이미지 세부 사항과 질감을 향상시킴.
• 실제 임상 부족 샘플링 상황을 시뮬레이션하기 위해 뇌, Abdomen 등의 다양한 해부학적 데이터셋에 대해 변수 밀도, 포isson, 무작위 등 다양한 샘플링 패턴을 적용함.
• DAGAN, KIGAN, RefineGAN, GANCS의 네 가지 GAN 기반 아키텍처를 비교하며, 정량적 지표(PSNR, SSIM, LPIPS)와 정성적 시각 평가를 동시에 활용함.
• 구조적 충실도 향상과 잡음 감소를 위해 첨단 훈련 기법으로 체감 손실 및 적대적 훈련을 통합함.
• 모델 일반화 능력을 평가하기 위해 제로 샷 추론 테스트를 실시함—즉, 한 기관 또는 병변에서 훈련된 모델을 다른 기관 또는 기존에 볼 수 없었던 병변을 가진 데이터에 적용함.

실험 결과

연구 질문

• RQ1 다양한 해부학적 영역과 부족 샘플링 패턴에서 서로 다른 GAN 기반 아키텍처는 빠른 MRI 재구성에서 어떻게 비교되는가?
• RQ2 고가속 요인(예: 8배 이상)에서 GAN 기반 방법은 이미지 품질과 해부학적 정확도를 어느 정도 유지하는가?
• RQ3 훈련 데이터에 존재하지 않는 병리학적 소견이 포함된 제로 샷 추론 시나리오에서 GAN 기반 모델은 일반화 가능한가?
• RQ4 재구성 불안정성 또는 미세한 구조의 환영 현상 등 GAN 기반 MRI 재구성의 주요 한계는 무엇인가?
• RQ5 MRI 물리 모델과 설명 가능한 AI(XAI) 통합을 통해 GAN 기반 빠른 MRI 모델의 임상적 신뢰성과 투명도는 어떻게 향상시킬 수 있는가?

주요 결과

• 모든 GAN 기반 방법은 저·중간 수준의 가속 요인에서 유망한 결과를 보였으며, 특히 시각적 충실도와 구조적 세부 사항에서 기존의 압축 센싱 및 비-GAN 딥러닝 기반 기준선에 비해 뚜렷한 우수성을 보였다.
• RefineGAN은 DAGAN, KIGAN, GANCS에 비해 더 높은 재구성 정확도와 시각적 효율성을 보이며, 미세한 해부학적 구조와 질감을 잘 유지하는 데서 두각을 나타내었다.
• 고가속 요인(예: 8배 이상)에서는 DAGAN과 KIGAN이 성능 저하를 보이며, 극도로 부족한 샘플링에서 일반화 능력과 강건성에 한계가 있음을 시사함.
• 제로 샷 추론 테스트 결과, DAGAN 및 GANCS와 같은 GAN 기반 모델은 훈련 데이터에 존재하지 않는 병리학적 소견(예: 뇌 종양, 확대된 부싘이식)을 성공적으로 재구성할 수 있었으며, 이는 강력한 일반화 잠재력이 있음을 시사함.
• 안정성 테스트에서 GAN 기반 모델, 특히 DAGAN은 소량의 입력 편향(예: 추가된 문자)에 매우 민감하여 큰 재구성 오차를 유발함을 확인하여 실제 잡음이나 아티팩트 상황에서의 불안정성 가능성을 시사함.
• 불안정성 우려에도 불구하고, 임상적 제로 샷 시나리오에서 병리학적 소견을 환영으로 생성하지 않는다는 증거가 없었으며, 이는 이전의 불안정성 연구 결과를 뒤집는 결과로, 맥락 기반 강건성이 존재할 수 있음을 시사함.