[논문 리뷰] CNNs and GANs in MRI-based cross-modality medical image estimation

Azin Shokraei Fard, David C. Reutens외 1명|arXiv (Cornell University)|2021. 06. 04.

Radiomics and Machine Learning in Medical Imaging참고 문헌 62인용 수 4

한 줄 요약

이 논문은 MRI 데이터를 사용한 다중 모odal 의료 영상 추정에 컨볼루션 신경망(CNNs)과 생성적 적대적 네트워크(GANs)의 응용을 검토한다. 주로 MRI 스캔에서 PET나 CT 영상을 생성하는 데 중점을 두고 있다. GANs는 정량적 지표로 검증된 바와 같이 영상 품질과 현실성에서 CNNs를 능가하며, 임상적으로 유의미한 합성 영상을 생성하는 데 있어 뛰어난 유용성을 보여준다.

ABSTRACT

Cross-modality image estimation involves the generation of images of one medical imaging modality from that of another modality. Convolutional neural networks (CNNs) have been shown to be useful in identifying, characterising and extracting image patterns. Generative adversarial networks (GANs) use CNNs as generators and estimated images are discriminated as true or false based on an additional network. CNNs and GANs within the image estimation framework may be considered more generally as deep learning approaches, since imaging data tends to be large, leading to a larger number of network weights. Almost all research in the CNN/GAN image estimation literature has involved the use of MRI data with the other modality primarily being PET or CT. This review provides an overview of the use of CNNs and GANs for MRI-based cross-modality medical image estimation. We outline the neural networks implemented, and detail network constructs employed for CNN and GAN image-to-image estimators. Motivations behind cross-modality image estimation are provided as well. GANs appear to provide better utility in cross-modality image estimation in comparison with CNNs, a finding drawn based on our analysis involving metrics comparing estimated and actual images. Our final remarks highlight key challenges faced by the cross-modality medical image estimation field, and suggestions for future research are outlined.

연구 동기 및 목표

• MRI 기반 다중 모달 의료 영상 추정에 사용된 CNNs와 GANs의 사용을 검토하고 분석하는 것.
• 특히 MRI에서 PET나 CT로의 영상 생성을 위해 CNNs와 GANs의 성능을 비교하는 것.
• CNN 및 GAN 기반 영상 간 번역 프레임워크에서 사용된 핵심 네트워크 아키텍처와 설계 선택 사항을 규명하는 것.
• 임상 및 연구 환경에서의 다중 모달 영상 추정의 동기를 부각하는 것.
• 딥 러닝 기반 의료 영상 합성 분야의 향후 연구 방향을 제안하고 과제를 요약하는 것.

제안 방법

• 이 연구는 MRI 기반 다중 모달 영상 추정에 대해 CNNs와 GANs를 사용한 기존 문헌을 체계적으로 검토한다.
• CNNs가 입력 MRI에서 목표 모달 영상으로의 매핑을 학습하기 위해 특징 추출기 및 생성기로 사용된다.
• GANs에서는 일반적으로 CNN 기반의 U-Net 또는 유사한 아키텍처를 사용하는 생성기와 실제 영상과 생성된 영상을 구분하는 판별기 네트워크가 통합된다.
• 생성기는 실제 영상과 구별되지 않는 영상을 생성하도록 적대적으로 훈련되어, 인지적 품질을 향상시킨다.
• 영상 품질 평가는 SSIM, PSNR, LPIPS와 같은 표준 지표를 사용하여 추정된 영상과 실제 영상 간 비교한다.
• 네트워크 아키텍처는 스위프 커넥션, 정규화 레이어, 적대적 손실 및 사이클 일致성 손실과 같은 손실 함수 포함하여 설계를 분석한다.

실험 결과

연구 질문

• RQ1 CNN 기반 모델은 MRI 데이터로부터 다중 모달 의료 영상을 생성하는 데 어떻게 성능을 발휘하는가?
• RQ2 GAN 기반 모델은 MRI에서 PET나 CT 영상 추정 시 영상 품질과 현실성에서 어느 정도 향상되는가?
• RQ3 이 작업에 적합한 CNN 및 GAN 프레임워크에서 가장 효과적인 아키텍처 구성 요소와 훈련 전략은 무엇인가?
• RQ4 정량적 및 인지적 영상 품질 측면에서 CNNs와 GANs 간의 주요 성능 차이는 무엇인가?
• RQ5 현재 MRI 기반 다중 모달 영상 추정 접근법에서 주요 과제와 한계는 무엇인가?

주요 결과

• GANs는 다양한 평가 지표에서 표준 CNNs보다 고해상도이고 현실적인 영상을 일관되게 생성하는 데 뛰어난 성능을 보인다.
• GANs에서의 적대적 훈련은 생성된 영상의 인지적 품질과 더 세밀한 구조적 세부 정보를 향상시킨다.
• SSIM 및 PSNR와 같은 정량적 지표는 GAN으로 생성된 영상에서 CNN 기반 대비 더 높은 값을 기록한다.
• GAN 프레임워크에 인지적 손실과 사이클 일치성 손실을 통합함으로써 영상의 현실성과 구조적 정확성이 더욱 향상된다.
• 비록 향상된 성능에도 불구하고 일반화, 도메인 이동, 생성된 영상의 임상적 검증과 같은 과제가 남아 있다.
• 이 리뷰는 현재 연구에서 표준화된 평가 프로토콜의 부족과 제한된 임상적 전환을 지적한다.