[논문 리뷰] MedSyn: Text-guided Anatomy-aware Synthesis of High-Fidelity 3D CT Images

Yanwu Xu, Li Sun외 3명|arXiv (Cornell University)|2023. 10. 05.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

MedSyn은 영상의학 보고서와 해부학적 분할 마스크를 이용해 생성을 안내하는 계층적이고 텍스트 유도형 확산 모델을 제안한다. 이는 256³ 해상도에서 미세한 해부학적 구조(예: 갈래선, 기도, 혈관)를 유지하면서 고해상도 3D 폐 CT 영상 합성을 가능하게 하여 기존 GAN 및 확산 기반 모델들을 능가한다.

ABSTRACT

This paper introduces an innovative methodology for producing high-quality 3D lung CT images guided by textual information. While diffusion-based generative models are increasingly used in medical imaging, current state-of-the-art approaches are limited to low-resolution outputs and underutilize radiology reports' abundant information. The radiology reports can enhance the generation process by providing additional guidance and offering fine-grained control over the synthesis of images. Nevertheless, expanding text-guided generation to high-resolution 3D images poses significant memory and anatomical detail-preserving challenges. Addressing the memory issue, we introduce a hierarchical scheme that uses a modified UNet architecture. We start by synthesizing low-resolution images conditioned on the text, serving as a foundation for subsequent generators for complete volumetric data. To ensure the anatomical plausibility of the generated samples, we provide further guidance by generating vascular, airway, and lobular segmentation masks in conjunction with the CT images. The model demonstrates the capability to use textual input and segmentation tasks to generate synthesized images. The results of comparative assessments indicate that our approach exhibits superior performance compared to the most advanced models based on GAN and diffusion techniques, especially in accurately retaining crucial anatomical features such as fissure lines, airways, and vascular structures. This innovation introduces novel possibilities. This study focuses on two main objectives: (1) the development of a method for creating images based on textual prompts and anatomical components, and (2) the capability to generate new images conditioning on anatomical elements. The advancements in image generation can be applied to enhance numerous downstream tasks.

연구 동기 및 목표

• 자유형 텍스트 영상의학 보고서를 조건으로 하여 고해상도 3D CT 영상을 생성하는 방법을 개발하는 것.
• 3D 체적 확산 모델에서 발생하는 메모리 및 해부학적 정확도 문제를 해결하는 것.
• 기도, lobes(엽), 혈관 등의 해부학적 분할을 보조 지도로 통합하여 구조적 타당성을 향상시키는 것.
• 복잡한 폐 해부학을 세밀한 병리학적 제어로 가능하게 하는 제어 가능한 텍스트 조건 기반 영상 합성 구현.
• 텍스트와 분할 사전 지식만을 사용하여 256³ 해상도에서 임상적으로 현실적인 3D CT 볼륨을 생성할 수 있음을 입증하는 것.

제안 방법

• 계층적 생성 프레임워크는 먼저 텍스트와 노이즈를 조건으로 하여 64³ 저해상도 볼륨을 생성한 후 점진적으로 256³로 확대한다.
• 고해상도 3D 특징를 효율적으로 처리하기 위해 공간적 및 채널별 어텐션을 갖춘 수정된 UNet 아키텍처를 사용한다.
• 영상의학 보고서에서 추출한 텍스트 임베딩을 각 단계에서 노이즈 제거 과정을 안내하는 조건부 사전 지식으로 활용한다.
• CT 볼륨 생성과 병행하여 기도, 엽, 혈관 등의 해부학적 분할 마스크를 예측하여 해부학적 일관성을 강화한다.
• 노이즈 제거 확산 목적함수를 사용하여 약 9,000개의 쌍체 3D CT 스캔과 영상의학 보고서 데이터셋을 엔드 투 엔드로 훈련한다.
• 두 단계 훈련 전략을 통해 저해상도 생성과 고해상도 보정을 분리함으로써 메모리 요구량을 감소시킨다.

실험 결과

연구 질문

• RQ1 텍스트 유도형 3D 확산 모델은 256³ 해상도에서 높은 품질의 폐 CT 볼륨을 생성하면서도 미세한 해부학적 구조를 유지할 수 있는가?
• RQ2 해부학적 분할 마스크를 통합함으로써 생성된 CT 영상의 타당성과 정확도는 어떻게 향상되는가?
• RQ3 영상의학 보고서는 3D CT 볼륨에서 복잡한 병리학적 특징의 합성을 어느 정도 효과적으로 안내할 수 있는가?
• RQ4 계층적 생성 접근 방식은 영상 품질을 희생시키지 않고 메모리 소비를 효과적으로 줄일 수 있는가?
• RQ5 모델은 영상의학 보고서에 기재된 미세한 변형을 반영한 다양한 해부학적으로 타당한 샘플을 생성할 수 있는가?

주요 결과

• MedSyn은 최신 기술인 GAN 및 확산 모델 대비 뛰어난 해부학적 정확도를 확보하였으며, 특히 갈래선, 기도, 혈관 구조의 유지에 뛰어난 성능을 보였다.
• 모델은 정성적 및 정량적 비교를 통해 256³ 해상도에서 높은 인지적 품질을 갖춘 3D CT 볼륨을 생성하였다.
• 텍스트 프롬프트 통합으로 인해 분할 성능이 향상되었으며, 기도의 DSC 점수는 0.70에서 0.75로, 엽의 DSC 점수는 0.69에서 0.77로 상승하였다.
• 계층적 설계 덕분에 단계적 생성을 통해 메모리 소비를 줄여 고해상도에서의 훈련 및 추론이 가능해졌다.
• 모델는 보고서에 기재된 전반적인 해부학적 기능과 병리를 잘 반영하는 것으로 나타났지만, 미세한 고해상도 변화는 여전히 도전 과제로 남아 있다.
• 모델는 프롬프트 유도형 체적 분할에 잠재력을 보였으며, 영상의학 보고서에 조건을 두었을 때 성능 향상이 관찰되었다.