[논문 리뷰] Which Contrast Does Matter? Towards a Deep Understanding of MR Contrast using Collaborative GAN

Dong-Wook Lee, Won‐Jin Moon외 1명|arXiv (Cornell University)|2019. 05. 10.

Radiomics and Machine Learning in Medical Imaging참고 문헌 35인용 수 9

한 줄 요약

이 논문은 복합적인 생성 적대 신경망인 CollaGAN을 제안하며, 여러 MR 대조 영상의 다양체를 동시에 모델링하여 정확한 영상 보정에 필수적인 대조 영상이 무엇인지 규명한다. T1, T1Gd, T2, T2-FLAIR 대조 영상을 기반으로 훈련한 결과, 외재적 대조제(예: T1Gd)는 대체할 수 없으며, 내재적 대조 영상(T1, T2)은 다른 영상으로부터 합성 가능하다는 점을 밝혀내어 임상적 촬영 프로토콜 설계에 중요한 통찰을 제공한다.

ABSTRACT

Thanks to the recent success of generative adversarial network (GAN) for image synthesis, there are many exciting GAN approaches that successfully synthesize MR image contrast from other images with different contrasts. These approaches are potentially important for image imputation problems, where complete set of data is often difficult to obtain and image synthesis is one of the key solutions for handling the missing data problem. Unfortunately, the lack of the scalability of the existing GAN-based image translation approaches poses a fundamental challenge to understand the nature of the MR contrast imputation problem: which contrast does matter? Here, we present a systematic approach using Collaborative Generative Adversarial Networks (CollaGAN), which enable the learning of the joint image manifold of multiple MR contrasts to investigate which contrasts are essential. Our experimental results showed that the exogenous contrast from contrast agents is not replaceable, but other endogenous contrast such as T1, T2, etc can be synthesized from other contrast. These findings may give important guidance to the acquisition protocol design for MR in real clinical environment.

연구 동기 및 목표

• 임상 환경에서 다중 대조 영상 촬영이 프로토콜 제약, 환자 제약, 또는 아티팩트로 인해 완전히 확보되지 못하는 상황에서 누락되거나 손상된 MR 대조 영상 데이터를 해결하기 위해.
• 종양 세분화와 같은 후속 작업에 필수적인 MR 대조 영상이 무엇인지 체계적으로 규명하기 위해, 다른 대조 영상으로부터 합성 가능한 대조 영상의 여부를 판단하기 위해.
• 쌍방향 GAN인 CycleGAN 등의 제약을 극복하기 위해 다수의 MR 대조 영상 간의 공동 영상 다양체를 모델링할 수 있는 확장 가능한 협업형 GAN 프레임워크(CollaGAN)를 개발하기 위해.
• 다양한 MR 대조 영상의 대체 가능성에 대한 실증적 증거를 제공하기 위해, 특히 외재적 대조제(T1Gd)와 내재적 대조 영상(T1, T2, T2-FLAIR)의 역할을 평가하기 위해.
• 불필요한 촬영 시간과 환자 부담을 줄이기 위해, 어떤 대조 영상이 필수적인지 식별함으로써 임상 촬영 프로토콜을 안내하기 위해.

제안 방법

• CollaGAN은 도메인 특화 조건부를 갖춘 공통 생성기 및 판별기 아키텍처를 사용하여, T1, T1Gd, T2, T2F와 같은 다수의 MR 대조 도메인을 하나의 프레임워크에서 공동 모델링한다.
• 생성기는 고해상도 특징, 저해상도 특징, 중간 해상도 특징을 위한 세 개의 병렬 브랜치를 갖춘 다중 척도 특징 추출 모듈을 사용하며, 이들은 다중 척도 표현을 위해 연결된다.
• 판별기는 로컬 이미지 패치를 진짜 또는 가짜로 분류하는 PatchGAN을 사용하며, 다양한 대조 유형을 구분하기 위한 도메인 분류 헤드를 포함한다.
• 모델은 사이클 일致성 손실과 적대적 손실을 기반으로 훈련되며, 과적합 방지를 위해 판별기의 드롭아웃을 적용한다.
• 데이터 증강은 랜덤 스케일링(0.9–1.1)과 50% 확률의 수평 뒤집기를 포함하여 정확도를 향상시킨다.
• 프레임워크는 BraTS 2018 데이터와 10명의 환자에서 유도된 합성 MDME 기반 대조 영상으로 평가되었으며, 훈련/검증/테스트 세트로 224/28/28 비율로 분할되었다.

실험 결과

연구 질문

• RQ1 임상 영상에서 어떤 MR 대조 영상이 대체 불가능한가, 그리고 다른 대조 영상으로부터 합성 가능한가?
• RQ2 단일 협업형 GAN 모델이 다수의 MR 대조 영상의 공동 다양체를 효과적으로 학습할 수 있으며, 이는 쌍방향 GAN보다 우수한 성능을 낼 수 있는가?
• RQ3 내재적 대조 영상(T1, T2, T2-FLAIR)이 대조제가 없는 상황에서 다른 대조 영상으로부터 얼마나 정확하게 합성 가능한가?
• RQ4 MAGiC 기반 FLAIR 영상에 존재하는 합성 아티팩트가 후속 세분화 성능에 어떤 영향을 미치며, GAN 기반 합성으로 이를 완화할 수 있는가?
• RQ5 대조 영상의 대체 가능성은 임상 MRI 촬영 프로토콜 설계와 데이터 촬영 효율성에 어떤 영향을 미치는가?

주요 결과

• 외재적 대조 영상(T1Gd)은 대체 불가능하다: 다른 내재적 대조 영상으로부터 신뢰성 있게 합성할 수 없으며, 정확한 진단을 위해 대조제 사용이 여전히 필수적임을 시사한다.
• T1, T2, T2-FLAIR와 같은 내재적 대조 영상들은 다른 대조 영상으로부터 효과적으로 합성 가능하며, 이는 누락된 영상에 대해 보정이 가능함을 보여준다.
• 제안된 CollaGAN 프레임워크는 최소한의 아티팩트로 고품질의 MR 대조 영상 합성을 달성했으며, 공동 다양체 모델링에서 기존 GAN보다 뛰어난 성능을 보였다.
• MAGiC 기반으로 유도된 합성 T2-FLAIR 영상에는 뇌척수액-조직 경계에서 특징적인 입자형 고강도 아티팩트가 존재하며, 이는 병변으로 오인될 수 있다.
• 합성된 영상으로부터의 종양 세분화 성능는 높았으며, BraTS 2018 벤치마크에서 합성 데이터를 사용한 세분화 네트워크가 경쟁 가능한 성능를 달성했다.
• 본 연구는 내재적 대조 영상들이 합성 가능하므로, 특히 대조제가 없는 경우에 불필요한 촬영을 줄일 수 있음을 실증적으로 입증하였다.