[논문 리뷰] CyTran: A Cycle-Consistent Transformer with Multi-Level Consistency for Non-Contrast to Contrast CT Translation

Nicolae-Cătălin Ristea, Andreea-Iuliana Ionescu외 5명|arXiv (Cornell University)|2021. 10. 12.

Brain Tumor Detection and Classification인용 수 8

한 줄 요약

CyTran은 쌍방향 일치성과 다중 수준 일관성 손실을 갖춘 사이클 일관성 트랜스포머를 제안하여 비대조 CT에서 대조 CT로의 번역을 수행한다. 하이브리드 컨volutional-transformer 아키텍처와 다중 수준 사이클 일관성 손실을 사용하여 고해상도, 잡음이 없는 CT 스캔을 생성한다. 번역 품질과 후속 이미지 정렬에서 최신 기술을 초월하며, 인간 평가를 통해 새로 도입된 시각적 잡음이 없음을 확인하였다.

ABSTRACT

We propose a novel approach to translate unpaired contrast computed tomography (CT) scans to non-contrast CT scans and the other way around. Solving this task has two important applications: (i) to automatically generate contrast CT scans for patients for whom injecting contrast substance is not an option, and (ii) to enhance the alignment between contrast and non-contrast CT by reducing the differences induced by the contrast substance before registration. Our approach is based on cycle-consistent generative adversarial convolutional transformers, for short, CyTran. Our neural model can be trained on unpaired images, due to the integration of a multi-level cycle-consistency loss. Aside from the standard cycle-consistency loss applied at the image level, we propose to apply additional cycle-consistency losses between intermediate feature representations, which enforces the model to be cycle-consistent at multiple representations levels, leading to superior results. To deal with high-resolution images, we design a hybrid architecture based on convolutional and multi-head attention layers. In addition, we introduce a novel data set, Coltea-Lung-CT-100W, containing 100 3D triphasic lung CT scans (with a total of 37,290 images) collected from 100 female patients (there is one examination per patient). Each scan contains three phases (non-contrast, early portal venous, and late arterial), allowing us to perform experiments to compare our novel approach with state-of-the-art methods for image style transfer. Our empirical results show that CyTran outperforms all competing methods. Moreover, we show that CyTran can be employed as a preliminary step to improve a state-of-the-art medical image alignment method. We release our novel model and data set as open source at https://github.com/ristea/cycle-transformer.

연구 동기 및 목표

• 대조제를 투여받을 수 없는 환자들을 대상으로 비대조 CT 스캔에서 대조 CT 스캔을 생성하는 데 도전하는 것.
• 대조 CT와 비대조 CT 스캔 간의 Hounsfield 단위(HU) 차이를 줄여 이미지 정렬 정확도를 향상시키는 것.
• 해부학적 정확성을 유지하면서도 강력하고 잡음이 없는 번역 모델을 개발하는 것.
• 학습 및 벤치마킹을 위한 새로운 대규모 삼상단계 폐 CT 데이터셋(Coltea-Lung-CT-100W)을 제공하는 것.
• CyTran이 최신 기술 기반 의료 영상 정렬 파이프라인의 성능을 향상시킬 수 있음을 입증하는 것.

제안 방법

• 고해상도 3D CT 스캔을 효율적으로 처리하기 위해 컨volution 레이어와 다중 헤드 자기주의 메커니즘을 조합한 하이브리드 신경망 아키텍처를 도입한다.
• 이미지 수준뿐 아니라 중간 특징 표현 수준에서도 일관성을 강제하는 다중 수준 사이클 일관성(MLCC) 손실을 적용한다.
• 쌍방향 번역을 가능하게 하기 위해 비페어드 데이터에서 학습할 수 있도록 사이클 일관성 생성 적대 신경망(CycleGAN 방식) 프레임워크를 사용한다.
• ViT-V-Net을 사용한 재귀적 캐스케이드 리파인먼트 전략을 통해 점진적으로 번역 품질을 향상시킨다.
• 학습 및 평가를 위해 100명의 여성 환자와 37,290장의 영상을 포함한 새로운 3D 삼상단계 CT 데이터셋(Coltea-Lung-CT-100W)을 활용한다.
• 이미지 정렬 이전에 HU 차이를 줄이기 위해 CyTran 모델을 사전처리 단계로 통합하여 정렬 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 다중 수준 사이클 일관성과 함께 트랜스포머 기반 모델이 기존 GAN 기반 방법보다 비대조에서 대조 CT 번역 성능을 향상시킬 수 있는가?
• RQ2 다중 수준 사이클 일관성 손실을 도입함으로써 의료 영상 번역의 정밀도를 향상시키고 시각적 잡음을 줄일 수 있는가?
• RQ3 CyTran이 대조 및 비대조 CT 스캔 간 Hounsfield 단위(HU) 불일치를 효과적으로 줄여 후속 이미지 정렬 성능을 향상시킬 수 있는가?
• RQ4 제안된 하이브리드 CNN-Transformer 아키텍처가 모드 붕괴나 구조적 잡음 없이 전체 해상도의 고해상도 CT 스캔을 생성할 수 있는가?
• RQ5 정규화 파이프라인에 CyTran을 통합함으로써 표준 정규화 방법 대비 정렬 정확도가 얼마나 향상되는가?

주요 결과

• CyTran은 pix2pix, U-GAT-IT, CycleGAN, CWT-GAN, AttentionGAN과 같은 최신 기술을 모두 뛰어넘어 이미지 번역 및 정렬 작업에서 뛰어난 성능을 보였다.
• 다중 수준 사이클 일관성(MLCC) 손실은 표준 사이클 일관성 대비 더 뛰어난 정렬 성능을 제공하여 다양한 특징 수준에서의 구조 일관성을 유지하는 데 효과적임을 입증하였다.
• 인간 평가 결과, CyTran은 번역 과정에서 시각적 잡음을 도입하지 않는 唯一定의 방법임을 확인하였으며, 임상 적용에서 중요한 이점이다.
• CyTran과 함께 사용된 재귀적 캐스케이드 리파인먼트 ViT-V-Net은 가장 높은 정렬 성능을 기록하였으며, 동맥기→비대조 번역에서는 3단계, 정맥기→비대조 번역에서는 2단계에서 최적의 성능 향상을 보였다.
• CyTran은 HU 수준의 차이를 줄여 최신 기술 기반 이미지 정렬 방법의 성능을 향상시켜 대조 및 비대조 CT 스캔 간 정확한 정렬을 가능하게 하였다.
• 100명의 삼상단계 3D 폐 CT 스캔(37,290장의 영상 포함)을 포함한 Coltea-Lung-CT-100W 데이터셋의 공개는 향후 의료 영상 번역 및 정렬 분야의 연구에 유의미한 기준을 제공한다.