[논문 리뷰] Anatomically constrained CT image translation for heterogeneous blood vessel segmentation

Giammarco La Barbera, Haithem Boussaid외 5명|arXiv (Cornell University)|2022. 10. 04.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 대조 강화(ceCT) 및 비대조(CT) CT 스캔 간의 쌍이 없는 CT 영상 번역을 위한 해부학적 제약 조건을 적용한 CycleGAN을 제안한다. 이는 구조적 일致성과 분할 성능을 향상시킨다. 자기지도 학습 신체 회귀 및 영역 관심 선택 기법을 통합함으로써 고해상도의 해부학적으로 타당한 영상을 생성하며, 실제 CT 스캔과 비교할 만한 동맥 및 정맥 분할 정확도를 달성한다.

ABSTRACT

Anatomical structures such as blood vessels in contrast-enhanced CT (ceCT) images can be challenging to segment due to the variability in contrast medium diffusion. The combined use of ceCT and contrast-free (CT) CT images can improve the segmentation performances, but at the cost of a double radiation exposure. To limit the radiation dose, generative models could be used to synthesize one modality, instead of acquiring it. The CycleGAN approach has recently attracted particular attention because it alleviates the need for paired data that are difficult to obtain. Despite the great performances demonstrated in the literature, limitations still remain when dealing with 3D volumes generated slice by slice from unpaired datasets with different fields of view. We present an extension of CycleGAN to generate high fidelity images, with good structural consistency, in this context. We leverage anatomical constraints and automatic region of interest selection by adapting the Self-Supervised Body Regressor. These constraints enforce anatomical consistency and allow feeding anatomically-paired input images to the algorithm. Results show qualitative and quantitative improvements, compared to stateof-the-art methods, on the translation task between ceCT and CT images (and vice versa).

연구 동기 및 목표

• 대조 강화 CT 영상에서의 이질적인 대조 문제를 해결함으로써 정확한 혈관 분할을 가능하게 한다.
• 생성 모델을 활용해 하나의 CT 모odal리티(ceCT 또는 CT)를 합성함으로써 양측 모두를 촬영하는 것 대신 방사선 노출을 줄인다.
• 쌍이 없는 슬라이스 기반 3D 볼륨 번역에서 3D 영상 번역의 정밀도와 해부학적 일致성을 향상시킨다.
• 쌍이 없는 훈련 데이터 없이도 고품질의 해부학적으로 일관된 CT 영상 합성을 가능하게 한다.
• 합성된 CT 영상이 실제 CT 스캔과 동일한 수준의 분할 성능을 지원할 수 있음을 검증한다.

제안 방법

• 해부학적으로 관련된 영역, 특히 신장 영역을 자동으로 식별할 수 있도록 자기지도 학습 신체 회귀기(SSBR)를 도입한 CycleGAN의 변형을 적용한다.
• 해부학적 특징점 기반으로 ceCT 및 CT 볼륨 간에 대응하는 슬라이스를 선택하는 위치 기반 선택(PBS) 전략을 도입한다.
• 3D 애핀 등록을 SimpleITK를 사용하여 적용하여 영상 번역 모델 적용 이전에 볼륨을 정렬한다.
• 생성기로 U-Net, 판별기로 Patch-GAN을 사용하며, 사이클 일관성 및 적대적 손실을 적용한다.
• 생성된 슬라이스가 입력 슬라이스와 동일한 해부학적 내용을 갖도록 해부학적 제약 조건을 통합한다.
• 다단계 훈련 파이프라인을 적용한다: 3D 정렬 → PBS/SSBR 기반 슬라이스 선택 → CycleGAN 기반 영상 번역

실험 결과

연구 질문

• RQ1 쌍이 없는 데이터 상황에서 해부학적 제약 조건이 3D CT 영상 번역의 정밀도와 일관성에 기여하는가?
• RQ2 신장과 같은 해부학적 특징점을 기반으로 한 슬라이스 선택 전략이 쌍이 없는 CT 영상 번역에서 구조적 정렬과 번역 품질을 향상시키는가?
• RQ3 합성된 CT 영상이 이질적인 혈관에 대해 실제 CT 스캔과 동등한 분할 성능을 달성할 수 있는가?
• RQ4 표준 CycleGAN, UNIT 등의 최신 비쌍 영상 번역 모델과 비교해 본다면, 제안된 방법이 시각적 및 정량적 품질 측면에서 어떻게 성능을 내는가?
• RQ5 생성된 영상의 해부학적 일관성이 아티팩트를 감소시키고 후속 분할 작업을 향상시키는 데 어느 정도 기여하는가?

주요 결과

• 제안된 방법은 합성된 CT 영상을 사용하여 실제 ceCT에서 동맥의 Dice 점수를 70.01 ± 3.99, 정맥의 Dice 점수를 56.55 ± 20.20로 기록하여 실제 CT 스캔의 성능과 동일하게 달성하였다.
• 제안된 방법을 통해 합성된 CT 영상을 사용한 분할 성능는 표준 CycleGAN 및 UNIT 기준선을 모두 초월하였으며, PBS 기반 CycleGAN 대비 동맥의 Dice 점수에서 4.45%p의 절대적 향상을 보였다.
• SSBR 및 PBS 기반 슬라이스 선택의 적용으로 해부학적 오차 정렬이 크게 감소하였고, 생성된 영상의 구조적 일관성이 향상되었다.
• HD95(Hausdorff 거리)는 동맥의 경우 13.47 ± 10.09 mm, 정맥의 경우 20.93 ± 22.96 mm로 감소하여 분할 경계 정확도가 향상됨을 시사하였다.
• 이질적인 환자에서 제안된 방법은 합성 CT 영상을 사용하여 동맥의 Dice 점수를 70.15 ± 3.52, 정맥의 Dice 점수를 37.00 ± 16.11로 기록하였으며, 실제 ceCT만으로의 분할 성능를 뛰어넘었다.
• 시각적 비교를 통해 기준선 모델 대비 생성된 영상에서 아티팩트가 감소하고 해부학적으로 타당성이 향상됨을 확인하였다.