[논문 리뷰] CyTran: Cycle-Consistent Transformers for Non-Contrast to Contrast CT Translation.

Nicolae-Cătălin Ristea, Andreea-Iuliana Ionescu외 5명|arXiv (Cornell University)|2021. 10. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 51인용 수 12

한 줄 요약

CyTran은 쌍이 없는 비대조 CT에서 대조 CT로의 번역을 위한 사이클 일致성 있는 트랜스포머 기반 모델을 제안하며, 하이브리드 컨볼루션 및 멀티헤드 어텐션 레이어를 활용하고 사이클 일치 손실을 적용하여 쌍이 없는 데이터로도 고해상도 영상 번역을 가능하게 한다. 이는 새로운 3D 삼상성 폐 CT 데이터셋에서 최신 기술 수준을 초월하며, 후속 영상 정렬 성능을 향상시킨다.

ABSTRACT

We propose a novel approach to translate unpaired contrast computed tomography (CT) scans to non-contrast CT scans and the other way around. Solving this task has two important applications: (i) to automatically generate contrast CT scans for patients for whom injecting contrast substance is not an option, and (ii) to enhance alignment between contrast and non-contrast CT by reducing the differences induced by the contrast substance before registration. Our approach is based on cycle-consistent generative adversarial convolutional transformers, for short, CyTran. Our neural model can be trained on unpaired images, due to the integration of a cycle-consistency loss. To deal with high-resolution images, we design a hybrid architecture based on convolutional and multi-head attention layers. In addition, we introduce a novel data set, Coltea-Lung-CT-100W, containing 3D triphasic lung CT scans (with a total of 37,290 images) collected from 100 female patients. Each scan contains three phases (non-contrast, early portal venous, and late arterial), allowing us to perform experiments to compare our novel approach with state-of-the-art methods for image style transfer. Our empirical results show that CyTran outperforms all competing methods. Moreover, we show that CyTran can be employed as a preliminary step to improve a state-of-the-art medical image alignment method. We release our novel model and data set as open source at: https://github.com/ristea/cycle-transformer.

연구 동기 및 목표

• 대조 제제 투여가 금기인 임상 적용을 위해 쌍이 없는 비대조 CT 스캔을 대조 강화 CT 스캔으로 번역하는 방법을 개발하는 것.
• 대조 제제로 인한 해부학적 차이를 줄여 대조 및 비대조 CT 스캔 간 정렬 정확도를 향상시키는 것.
• 쌍이 없는 훈련 데이터가 필요 없이 고해상도 3D 의료 영상을 처리할 수 있는 딥 러닝 모델을 설계하는 것.
• 비정적 영상 번역 평가를 위한 새로운 대규모 삼상성 3D 폐 CT 데이터셋을 제공하는 것.
• 제안된 번역 모델이 최신 기술 수준의 의료 영상 정렬 기술 성능 향상에 전처리 단계로 활용될 수 있음을 입증하는 것.

제안 방법

• 모델은 고해상도 3D CT 볼륨을 효과적으로 처리하기 위해 컨볼루션 레이어와 멀티헤드 자기어텐션 메커니즘을 융합한 하이브리드 아키텍처를 사용한다.
• 실제 비대조에서 대조로의 번역 후 다시 원래 상태로 복원했을 때 원본에 가까운 재구성 결과를 확보하기 위해 사이클 일치 손실을 통합한다.
• 가짜 영상의 현실감 있는 디테일과 질감을 유지하기 위해 적대적 손실을 활용한 GAN 기반 프레임워크로 엔드 투 엔드로 훈련한다.
• 다양한 단계의 CT 스캔 간 강도 및 대비 변동성을 처리하기 위해 새로운 데이터 증강 및 정규화 전략을 적용한다.
• 다중 스케일에서의 특징 학습을 향상시키고 훈련 안정성을 높이기 위해 스킵 연결과 잔차 블록을 아키텍처에 통합한다.
• 새로 도입된 Coltea-Lung-CT-100W 데이터셋에서 구조적 유사도 및 평균 제곱오차 등의 정량적 및 정성적 평가 지표를 사용해 모델을 평가한다.

실험 결과

연구 질문

• RQ1 쌍이 없는 훈련 데이터가 없는 상황에서 사이클 일치성 트랜스포머 기반 모델이 비대조 CT와 대조 CT 스캔 간 고해상도 번역을 얼마나 정밀하게 수행할 수 있는가?
• RQ2 제안된 하이브리드 컨볼루션-트랜스포머 아키텍처는 3D 의료 영상에서 기존 방법 대비 영상 품질 및 구조적 유지 능력 측면에서 어떻게 비교되는가?
• RQ3 CyTran은 대조 및 비대조 CT 스캔 간 강도 및 해부학적 차이를 어느 정도 줄여 후속 영상 정렬 정확도를 향상시킬 수 있는가?
• RQ4 CyTran을 전처리 단계로 사용할 경우 최신 기술 수준의 의료 영상 정렬 방법의 성능 향상에 기여하는가?
• RQ5 대조 강화 패tern의 다양성에 기인한 환자 해부학적 다양성과 스캔 프로토콜 변화를 고려할 때 모델의 일반화 능력은 어떠한가?

주요 결과

• 구조적 유사도 및 주관적 품질 측정 기준에서 CyTran은 Coltea-Lung-CT-100W 데이터셋에서 모든 경쟁 기술 수준의 방법들을 능가하는 성능을 보였다.
• 혈관 구조 및 연조직 경계에서 특히 영상의 정밀도와 해부학적 일관성 향상이 뚜렷하게 향상되었다.
• 전처리 단계로 사용되었을 경우, CyTran은 최신 기술 수준의 영상 정렬 방법의 정확도를 향상시켜 후속 응용에서 정렬 오차를 감소시켰다.
• 사이클 일치 손실은 쌍이 없는 데이터로의 훈련을 효과적으로 가능하게 하였으며, 정체성 유지 및 번역 중 분포 이탈 최소화에 기여했다.
• 37,290개의 3D 삼상성 폐 CT 스캔을 포함하는 제안된 Coltea-Lung-CT-100W 데이터셋은 향후 의료 영상 번역 분야 연구에 유의미한 기준을 제공한다.
• https://github.com/ristea/cycle-transformer에서 모델 및 데이터셋을 오픈소스로 배포하여 재현 가능성과 분야 내 추가 개발을 가능하게 하였다.