[논문 리뷰] DiamondGAN: Unified Multi-Modal Generative Adversarial Networks for MRI Sequences Synthesis

Hongwei Li, Johannes C. Paetzold외 6명|arXiv (Cornell University)|2019. 04. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 14인용 수 4

한 줄 요약

DiamondGAN는 다중 모odal MRI 시퀀스 합성용 통합적이고 확장 가능한 생성적 적대적 네트워크를 제안하며, 비정렬 입력 시퀀스(T1, T2, FLAIR)의 임의의 부분집합에서 목표 시퀀스(DIR, T1-c)로의 유연한 다중 모odal 번역을 가능하게 한다. 합성된 DIR 이미지에서 방사선 전문의 수준의 유사성을 달성하였으며, 전문가 평가 결과 실제 이미지와 합성 이미지 간 유의미한 차이가 없었다(p = 0.1432).

ABSTRACT

Synthesizing MR imaging sequences is highly relevant in clinical practice, as single sequences are often missing or are of poor quality (e.g. due to motion). Naturally, the idea arises that a target modality would benefit from multi-modal input, as proprietary information of individual modalities can be synergistic. However, existing methods fail to scale up to multiple non-aligned imaging modalities, facing common drawbacks of complex imaging sequences. We propose a novel, scalable and multi-modal approach called DiamondGAN. Our model is capable of performing exible non-aligned cross-modality synthesis and data infill, when given multiple modalities or any of their arbitrary subsets, learning structured information in an end-to-end fashion. We synthesize two MRI sequences with clinical relevance (i.e., double inversion recovery (DIR) and contrast-enhanced T1 (T1-c)), reconstructed from three common sequences. In addition, we perform a multi-rater visual evaluation experiment and find that trained radiologists are unable to distinguish synthetic DIR images from real ones.

연구 동기 및 목표

• 운동 또는 프로토콜 변동으로 인한 MRI 시퀀스 부족 또는 열악한 품질 문제 해결.
• 공간 정렬이 필요하거나 일대일 또는 일대다 매핑에 국한되는 기존 GAN의 한계 극복.
• 임의의 입력 모달리티 부분집합으로부터 다대일 교차 모달리티 합성에 대한 확장 가능한 종단 간 학습 가능화.
• 이중 역행 복구(DIR) 및 대조 강화 T1(T1-c)와 같은 임상적으로 중요한 시퀀스의 합성 품질 향상.
• 경험이 풍부한 신경영상의학 전문가들의 다중 평가를 통해 임상적 타당성 입증.

제안 방법

• 입력 모달리티의 존재를 인코딩하는 조건 벡터 c를 도입하며, 예를 들어 T1, T2, FLAIR가 모두 존재할 경우 [1,1,1]과 같이 표현하고 이미지 차원에 맞게 공간적으로 브로드캐스트한다.
• 다중 모달 입력과 조건 벡터를 모두 입력으로 받아 목표 모달리티 출력을 생성하는 이중 스트림 생성기 아키텍처를 설계한다.
• 공간 정렬 없이도 다양한 입력 조합 간의 구조적 일관성을 강제하기 위해 다중 모달 사이클 일致성 손실을 활용한다.
• 입력 모달리티에서의 실제 대 합성 이미지와 목표 출력에서의 실제 대 합성 이미지를 각각 구분하기 위해 쌍체 판별기(D1 및 D2)를 사용한다.
• 모든 가능한 입력 부분집합을 지원하는 통합 프레임워크를 사용해 종단 간 엔드포인트 학습을 수행하며, 조합 별 별도의 모델 훈련을 피한다.
• 모든 입력 조합에 대해 단일 생성기 및 판별기 쌍을 활용하여 확장성과 효율적인 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 통합 GAN 프레임워크는 비정렬 다중 모달 입력의 임의의 부분집합으로부터 고품질 MRI 시퀀스를 효과적으로 합성할 수 있는가?
• RQ2 단일 모달리티 입력에 비해 다중 모달리티 입력이 DIR 및 T1-c와 같은 복잡한 시퀀스의 합성 품질을 유의미하게 향상시키는가?
• RQ3 합성 MRI 시퀀스가 전문 방사선 전문가의 임상 평가에서 실제 이미지와 구분되지 않는가?
• RQ4 제안된 다중 모달 사이클 일치성 손실이 누락되거나 변동성이 있는 입력 모달리티에 걸쳐 강건성과 일반화 능력을 어떻게 향상시키는가?
• RQ5 DiamondGAN가 MRI 합성 분야의 기준 모델인 CycleGAN에 비해 정량적 및 정성적 지표에서 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• DIR 합성에서 DiamondGAN는 CycleGAN에 비해 유의미한 향상을 보였으며, PSNR는 18.63, MAE는 0.058를 기록했고, 이는 모든 세 개의 입력 모달리티를 사용할 경우 p < 0.0001의 유의미성 수준을 확보했다.
• T1+T2+Flair 입력을 사용해 생성된 합성 DIR 이미지는 방사선 전문가들로부터 4.54점(최고 5점)을 평가받았으며, 실제 DIR 이미지(4.7점)와 유의미한 차이가 없었다(p = 0.1432).
• 세 개의 입력 모달리티를 모두 사용했을 경우, 방사선 전문가들이 합성 DIR 이미지와 실제 이미지를 구분할 수 없었으며, 이는 높은 임상적 타당성을 시사한다.
• T1+T2+Flair 조합이 DIR에 대해 가장 높은 PSNR(18.63)와 가장 낮은 MAE(0.058)를 기록했으며, T1-c에 대해서도 가장 높은 PSNR(20.86)와 가장 낮은 MAE(0.045)를 기록했다.
• FLAIR만을 기반으로 한 합성 결과는 방사선 전문가들로부터 일관되게 비현실적이라고 평가되어, 복잡한 시퀀스의 경우 다중 모달리티 입력의 중요성을 강조한다.
• 모델은 모든 입력 부분집합에서 뛰어난 성능을 보였으며, 조합 별 재학습이 필요 없었고, 이는 확장성과 유연성을 확인한다.