[논문 리뷰] Bidirectional Mapping Generative Adversarial Networks for Brain MR to PET Synthesis

Shengye Hu, Baiying Lei외 4명|arXiv (Cornell University)|2020. 08. 08.

Generative Adversarial Networks and Image Synthesis참고 문헌 40인용 수 5

한 줄 요약

이 논문은 양방향 매핑 생성 적대적 네트워크(BMGAN)를 제안하며, 3D 엔드 투 엔드 프레임워크로서 MR 스캔에서 뇌 PET 영상을 현실적이고 다양한 방식으로 합성한다. 이는 이중 매핑 메커니즘을 통해 영상의 맥락과 잠재 벡터를 동시에 최적화함으로써 달성된다. 이 방법은 정량적 지표, 시각적 품질, 진단 분류 성능에서 기존의 최첨단 다중 모odal 영상 합성 모델들을 능가한다.

ABSTRACT

Fusing multi-modality medical images, such as MR and PET, can provide various anatomical or functional information about human body. But PET data is always unavailable due to different reasons such as cost, radiation, or other limitations. In this paper, we propose a 3D end-to-end synthesis network, called Bidirectional Mapping Generative Adversarial Networks (BMGAN), where image contexts and latent vector are effectively used and jointly optimized for brain MR-to-PET synthesis. Concretely, a bidirectional mapping mechanism is designed to embed the semantic information of PET images into the high dimensional latent space. And the 3D DenseU-Net generator architecture and the extensive objective functions are further utilized to improve the visual quality of synthetic results. The most appealing part is that the proposed method can synthesize the perceptually realistic PET images while preserving the diverse brain structures of different subjects. Experimental results demonstrate that the performance of the proposed method outperforms other competitive cross-modality synthesis methods in terms of quantitative measures, qualitative displays, and classification evaluation.

연구 동기 및 목표

• 임상 환경에서 비용, 방사선 노출, 접근성 부족으로 인해 PET 영상 데이터가 부족한 문제를 해결하기 위해.
• 기존의 GAN 기반 방법이 흐릿하거나 다양성이 낮은 합성 PET 영상을 생성하는 데서 비롯되는 한계를 극복하기 위해.
• 합성된 PET 영상에서 환자별 뇌 해부학적 다양성을 유지하여 진단 관련성을 향상시키기 위해.
• 고급 생성 모델링을 통해 MR에서 PET 영상 합성의 시각적 현실감과 정량적 정확도를 향상시키기 위해.
• 합성된 PET 영상이 후속 임상 분류 작업에 효과적으로 활용될 수 있음을 입증하기 위해.

제안 방법

• 3D 엔드 투 엔드 BMGAN 프레임워크를 제안하여, PET 의미적 사전 지식을 잠재 공간에 통합하는 양방향 매핑 메커니즘을 사용해 MR에서 PET 영상 합성 수행.
• 계층적 공간 특징을 캡처하고 재구성 품질을 향상시키기 위해 3D 밀집U-넷 생성기 아키텍처를 활용.
• 시각적 현실감과 구조적 정확도를 향상시키기 위해 생성 적대적 손실, 사이클 일致성 손실, 인지적 손실을 포함한 광범위한 목적 함수를 통합.
• 원천(MR)과 타겟(PET) 도메인 간에 잠재 공간에서 상호 최적화를 가능하게 하는 양방향 매핑 전략을 사용하여 특징의 분리 및 다양성을 향상.
• 해부학적 일致성을 확보하기 위해, 짝지어진 MR 및 PET 스캔을 포함한 ADNI 데이터베이스의 일부를 사용해 모델을 훈련.
• 합성된 PET 영상의 진단 유용성을 평가하기 위해 사전 훈련된 VGG-16 분류기를 사용해 이진 분류 작업(알츠하이머병 대비 정상)을 수행.

실험 결과

연구 질문

• RQ1 GAN 기반 프레임워크는 뇌 MR 스캔에서 시각적으로 현실적이며 구조적으로 다양한 PET 영상을 생성할 수 있는가?
• RQ2 기본적인 GAN과 비교할 때, 양방향 잠재 공간 매핑은 합성된 PET 영상의 다양성과 해부학적 정확도를 어떻게 향상시키는가?
• RQ3 합성된 PET 영상이 다양한 개인 간에 환자별 뇌 구조를 어느 정도 유지하는가?
• RQ4 합성된 PET 영상은 알츠하이머병 분류와 같은 후속 진단 작업에서 경쟁적인 성능을 달성할 수 있는가?
• RQ5 기존의 최첨단 다중 모달 영상 합성 방법과 비교해, 제안된 BMGAN는 정량적 및 정성적으로 어떻게 다른가?

주요 결과

• 제안된 BMGAN는 가장 낮은 평균 절대 오차(MAE)와 가장 높은 피크 신호 대 노이즈 비율(PSNR)을 기록하여 뛰어난 영상 재구성 품질을 입증했다.
• BMGAN는 가장 높은 다중 척도 구조적 유사도(MS-SSIM)와 가장 낮은 프리셰트 인ception 거리(FID)를 기록하여 생성된 PET 영상의 높은 구조적 유사성과 다양성을 입증했다.
• 3D FCN, GAN, cGAN, CycleGAN 등의 기존 모델들과의 정성적 비교에서 BMGAN가 뛰어난 성능을 보였으며, 합성 영상이 실제 PET 스캔과 유사하게 나타났다.
• 차이도에서 최소한의 잡음과 일관된 강도 패턴을 확인하여 정확한 공간 정렬과 구조적 유지가 이루어졌음을 확인했다.
• 이진 분류 작업(알츠하이머병 대비 정상)에서 BMGAN가 생성한 합성 PET 영상은 가장 높은 ROC 곡선 아래 면적(AUC)을 기록하여 그 진단 관련성을 입증했다.
• 결과적으로 BMGAN가 실질적인 PET 데이터가 부족한 임상 적용 분야에서 효과적인 데이터 증강 도구로 활용될 수 있음을 확인했다.