[논문 리뷰] Multi-Modality Generative Adversarial Networks with Tumor Consistency Loss for Brain MR Image Synthesis

Bingyu Xin, Yifan Hu외 2명|arXiv (Cornell University)|2020. 05. 02.

Generative Adversarial Networks and Image Synthesis참고 문헌 18인용 수 5

한 줄 요약

이 논문은 단일 T2 모odal리티에서 모달리티 레이블과 새로운 다중 모달리티 종양 일致 손실을 사용하여 FLAIR, T1 및 T1ce 뇌 MRI 영상을 합성하는 TC-MGAN이라는 다중 모달리티 생성 적대적 네트워크를 제안한다. 이 방법은 영상 품질과 종양 보존을 향상시켜 기준 모델인 pix2pix 대비 종양 세그멘테이션 정확도를 1.8% 향상시키며, 전체 모달리티 성능에 가까워진다.

ABSTRACT

Magnetic Resonance (MR) images of different modalities can provide complementary information for clinical diagnosis, but whole modalities are often costly to access. Most existing methods only focus on synthesizing missing images between two modalities, which limits their robustness and efficiency when multiple modalities are missing. To address this problem, we propose a multi-modality generative adversarial network (MGAN) to synthesize three high-quality MR modalities (FLAIR, T1 and T1ce) from one MR modality T2 simultaneously. The experimental results show that the quality of the synthesized images by our proposed methods is better than the one synthesized by the baseline model, pix2pix. Besides, for MR brain image synthesis, it is important to preserve the critical tumor information in the generated modalities, so we further introduce a multi-modality tumor consistency loss to MGAN, called TC-MGAN. We use the synthesized modalities by TC-MGAN to boost the tumor segmentation accuracy, and the results demonstrate its effectiveness.

연구 동기 및 목표

• 임상 환경에서 다중 모달리티 MRI 촬영의 높은 비용과 제한된 가용성 문제를 해결하기 위해.
• 단일 소스 모달리티(T2)에서 다중 누락된 MRI 모달리티(FLAIR, T1, T1ce)를 합성할 수 있는 통합된 딥 러닝 프레임워크를 개발하기 위해.
• 일般적인 GAN 기반 합성에서 자주 손실되는 중요한 종양 형태학적 특성과 공간 일치성을 합성된 모달리티 간에 유지하기 위해.
• 고정밀 다중 모달리티 영상 합성을 통해 종래의 종양 세그멘테이션 성능을 향상시키기 위해.
• 정량적 영상 품질 지표와 세그멘테이션 DICE 스코어를 사용하여 제안된 방법의 효과성을 검증하기 위해.

제안 방법

• pix2pix의 생성자와 판별자에 모달리티 레이블를 통합하여, 단일 네트워크로 T2에서 세 가지 목표 모달리티 중 어떤 것이라도 합성할 수 있도록 한다.
• 원천(T2)과 합성된 모달리티(FLAIR, T1, T1ce) 간 종양 영역의 구조적 일치를 강제하는 다중 모달리티 종양 일치 손실을 적용한다.
• 생성자를 종양 경계와 형태를 보존하도록 이끄는 데 도움이 되는 지도 신호로 Unet 기반 세그멘테이션 헤드를 사용한다.
• GAN 학습을 안정화시키기 위해 기울기 페널티(GP)를 적용하고, 픽셀 수준의 정밀도를 유지하기 위해 L1 손실을 사용한다.
• 생성자를 복합 손실으로 학습시킨다: 적대적 손실, L1 손실, 모달리티 예측을 위한 분류 손실, 그리고 세그멘테이션 기반 종양 일치 손실.
• 합성에 100 에포크 동안 학습률 감소를 적용하는 이중 단계 학습 전략을 사용하며, 세그멘테이션에 대해 추가 30 에포크를 훈련한다.

실험 결과

연구 질문

• RQ1 단일 GAN 기반 모델이 하나의 소스 모달리티(T2)에서 세 가지 다른 MRI 모달리티(FLAIR, T1, T1ce)를 효과적으로 합성할 수 있는가?
• RQ2 pix2pix 프레임워크에 모달리티 레이블를 통합함으로써 다양한 목표 모달리티 간의 합성 품질과 일반화 능력이 향상되는가?
• RQ3 다중 모달리티 종양 일치 손실이 표준 GAN 손실 대비 합성된 MRI 영상에서 종양의 구조 보존을 크게 향상시킬 수 있는가?
• RQ4 합성된 다중 모달리티 영상을 사용할 경우 종래의 종양 세그멘테이션 성능 향상 정도는 어느 정도인가?
• RQ5 제안된 TC-MGAN은 기준 모델(pix2pix)과 비교했을 때, 또는 세그멘테이션 헤드를 통해 엔드 투 엔드 백프로파게이션을 수행하는 대안적 학습 전략과 비교했을 때 어떻게 성능을 내는가?

주요 결과

• TC-MGAN은 FLAIR에서 PSNR 24.64 ± 3.43, T1에서 25.78 ± 3.94, T1ce에서 25.68 ± 3.95를 기록하여, 모든 지표에서 기준 모델인 pix2pix를 초월한다.
• TC-MGAN을 사용한 합성 영상의 구조적 유사도(SSIM)는 FLAIR 0.9267 ± 0.0386, T1 0.9520 ± 0.0326, T1ce 0.9390 ± 0.0322를 기록하여 뛰어난 구조 보존 능력을 보여준다.
• TC-MGAN이 합성한 영상을 사용한 종양 세그멘테이션은 DICE 스코어 0.7585 ± 0.3519를 기록하여 기준 모델인 pix2pix(0.7381 ± 0.3611) 대비 1.8% 향상된 성능을 보였다.
• TC-MGAN의 성능은 다른 어떤 방법보다도 전체 네 모달리티 기준(0.8142 ± 0.3003)에 더 가까워, 강력한 데이터 증강 잠재력을 보여준다.
• 세그멘테이션 헤드를 통해 백프로파게이션를 수행하는 변형(TC-MGAN bw)은 FLAIR에서 약간 낮은 영상 품질을 보였고, 세그멘테이션 스코어에 약간의 감소가 있었으며, 고정된 세그멘테이션 헤드가 더 안정적인 종양 일치를 제공함을 시사한다.
• 종양 일치 손실의 도입은 SSIM과 세그멘테이션 성능을 크게 향상시켜 임상적으로 중요한 종양 특징을 보존하는 데 그 효과를 입증한다.