[논문 리뷰] GANBERT: Generative Adversarial Networks with Bidirectional Encoder Representations from Transformers for MRI to PET synthesis

Hoo-Chang Shin, Alvin Ihsani외 5명|arXiv (Cornell University)|2020. 08. 10.

Generative Adversarial Networks and Image Synthesis참고 문헌 17인용 수 11

한 줄 요약

GANBERT는 BERT의 마스킹된 언어 모델링과 다음 문장 예측을 디스커미네이터로 활용하여 T1-강조 MRI 스캔에서 고해상도이고 강도 정확도가 높은 PET 영상을 합성하는 새로운 GAN 프레임워크를 제안한다. MRI 강도를 넓은 부동소수점 범위로 매핑하고, BERT를 사용해 마스킹된 PET 값을 예측하도록 훈련시킴으로써 수동 전처리/후처리가 필요 없이 최신 기술 수준의 성능을 달성하며, AV45-PET 합성에서 PSNR는 최대 57.58, SSIM는 0.31에 도달한다.

ABSTRACT

Synthesizing medical images, such as PET, is a challenging task due to the fact that the intensity range is much wider and denser than those in photographs and digital renderings and are often heavily biased toward zero. Above all, intensity values in PET have absolute significance, and are used to compute parameters that are reproducible across the population. Yet, usually much manual adjustment has to be made in pre-/post- processing when synthesizing PET images, because its intensity ranges can vary a lot, e.g., between -100 to 1000 in floating point values. To overcome these challenges, we adopt the Bidirectional Encoder Representations from Transformers (BERT) algorithm that has had great success in natural language processing (NLP), where wide-range floating point intensity values are represented as integers ranging between 0 to 10000 that resemble a dictionary of natural language vocabularies. BERT is then trained to predict a proportion of masked values images, where its "next sentence prediction (NSP)" acts as GAN discriminator. Our proposed approach, is able to generate PET images from MRI images in wide intensity range, with no manual adjustments in pre-/post- processing. It is a method that can scale and ready to deploy.

연구 동기 및 목표

• 표준 GAN이 모델링하기 어려운 광범위하고 변동성이 큰 강도 값(예: -100에서 1000까지)을 가지는 PET 영상의 MRI로부터의 합성 과제를 해결하기 위해.
• 이전 방법에서 흔히 사용되던 수동 전처리 또는 강도 범위 조정이 필요 없는 PET 영상 합성 방법을 제안하기 위해.
• 원래 자연어 처리를 위해 설계된 BERT의 표현 능력을 활용하기 위해 PET 영상 강도를 어휘 내의 이산 토큰으로 간주함으로써 희귀하고 비대칭적인 강도 분포를 모델링할 수 있도록 하기 위해.
• 적대적 훈련과 마스킹된 예측, L1 손실을 결합하여 교차 모odal MRI에서 PET로의 영상 품질과 구조 유사도를 향상시키기 위해.
• 표준화된 약물 농도 비율(SUVR) 단위로 직접 MRI에서 PET 영상을 생성할 수 있는 확장 가능하고 구현 가능한 방법을 개발하여 알츠하이머병 진단과 같은 임상 적용에 적합하게 하기 위해.

제안 방법

• MRI 강도 값(0–255)을 PET 영상의 동적 범위와 일치시키기 위해 부동소수점 범위(-100에서 1000)로 매핑하기.
• PET 영상 강도를 이산 토큰(0에서 10^4)으로 표현하여 BERT의 마스킹된 언어 모델링(MLM)과 다음 문장 예측(NSP) 목적을 적용할 수 있도록 하기.
• U-Net 유사 생성자로 MRI 입력에서 PET 영상을 생성하며, 생성자의 출력을 강도 토큰의 시퀀스로 BERT에 입력하기.
• BERT의 NSP 작업을 적대적 디스커미네이터로 사용: 디스커미네이터는 생성된 PET 시퀀스가 실제인지 가짜인지 문맥 일관성 기반으로 평가한다.
• 다중 목적 손실을 최적화하여 생성자 훈련: 적대적 손실(NSP), 마스킹 예측 손실(MLM), L1 재구성 손실을 하이퍼파rameter(λNSP=20, λMLM=1, λL1=20)로 가중한다.
• 생성자와 BERT를 별도의 옵timizer로 별도로 훈련하여 GAN 프레임워크를 유지하면서도 비대칭 강도 분포를 더 잘 표현할 수 있도록 BERT의 사전 훈련된 표현을 활용한다.

실험 결과

연구 질문

• RQ1 BERT의 사전 훈련 목적인 마스킹된 언어 모델링과 다음 문장 예측이 의료 영상 합성용 GAN의 디스커미네이터로 효과적으로 재활용될 수 있는가?
• RQ2 광범위하고 비대칭적인 동적 범위를 가지는 PET 영상 강도가 정밀도 손실 없이 BERT 유사 프레임워크 내의 이산 토큰으로 효과적으로 모델링될 수 있는가?
• RQ3 BERT의 NSP를 디스커미네이터로 사용하면서 MLM과 L1 손실을 결합하면, 기존의 Pix2Pix-GAN과 같은 표준 GAN보다 MRI에서 PET로의 영상 합성 품질과 정확도가 향상되는가?
• RQ4 제안된 방법은 수동 강도 스케일링이나 후처리 조정 없이 원래 SUVR 단위의 PET 영상을 생성할 수 있는가?
• RQ5 추가적인 CNN 디스커미네이터가 MRI에서 PET로의 영상 합성에서 GANBERT 프레임워크의 성능과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• GANBERT는 추가적인 CNN 디스커미네이터 없이 AV45-PET 합성에서 PSNR 57.58, SSIM 0.27를 달성하여, tanh 활성화를 사용하는 표준 Pix2Pix-GAN보다 유의미하게 뛰어난 성능(PSNR: 50.41, SSIM: 0.0)을 보였다.
• CNN 디스커미네이터를 추가하면 PSNR는 약간 감소(56.53으로)했지만 SSIM은 향상(0.31로)되어 구조 유사도는 향상되었고, 약간의 RMSE 증가를 수반함을 나타냈다.
• AV1451-PET에 대해서는 GANBERT가 CNN-D 없이도 PSNR 51.05, SSIM 0.25를 달성하여 다양한 PET 트레이서에 대해 강건함을 입증했다.
• FDG-PET에 대해서는 GANBERT가 CNN-D 없이 PSNR 56.53, SSIM 0.11를 기록했고, CNN-D를 사용할 경우 SSIM이 급격히 상승(0.38로)하여 모드 붕괴 또는 분포 이탈 가능성을 시사했다.
• 시각적 비교 결과, GANBERT로 생성된 PET 영상은 특히 피질 영역에서 원본 PET 스캔과 유사한 해부학적 구조와 강도 패턴을 보였다.
• 이 방법은 최소한의 전처리로 원래 SUVR 단위의 PET 영상을 성공적으로 합성하여 수동 강도 스케일링이나 후처리 조정이 필요 없음을 입증했다.