[논문 리뷰] A2V: A Semi-Supervised Domain Adaptation Framework for Brain Vessel Segmentation via Two-Phase Training Angiography-to-Venography Translation

Francesco Galati, Daniele Falcetta외 5명|arXiv (Cornell University)|2023. 09. 12.

Fetal and Pediatric Neurological DisordersMedicine인용 수 3

한 줄 요약

이 논문은 두 단계 훈련 과정을 통해 자기공명 관류영상에서靜맥영상을 번역함으로써 뇌 혈관 분할을 위한 준감독형 도메인 적응 프레임워크인 A2V를 제안한다. 이는 도메인 간 격차를 극복하기 위해 분리된 잠재 공간을 활용한다. 제한된 레이블이 부여된 정맥영상만으로도 정상적인 혈관 분할에서 70.4%의 Dice 스코어를 달성하며, 최신 기술보다 19个百分点 이상 뛰어나다.

ABSTRACT

We present a semi-supervised domain adaptation framework for brain vessel segmentation from different image modalities. Existing state-of-the-art methods focus on a single modality, despite the wide range of available cerebrovascular imaging techniques. This can lead to significant distribution shifts that negatively impact the generalization across modalities. By relying on annotated angiographies and a limited number of annotated venographies, our framework accomplishes image-to-image translation and semantic segmentation, leveraging a disentangled and semantically rich latent space to represent heterogeneous data and perform image-level adaptation from source to target domains. Moreover, we reduce the typical complexity of cycle-based architectures and minimize the use of adversarial training, which allows us to build an efficient and intuitive model with stable training. We evaluate our method on magnetic resonance angiographies and venographies. While achieving state-of-the-art performance in the source domain, our method attains a Dice score coefficient in the target domain that is only 8.9% lower, highlighting its promising potential for robust cerebrovascular image segmentation across different modalities.

연구 동기 및 목표

• 뇌 혈관 분할에서 자기공명 관류영상과 정맥영상 간의 심각한 도메인 이동 문제를 해결하기 위해.
• 레이블이 부여된 정맥영상의 수가 제한되어 있고, 레이블이 부여된 관류영상은 많을 때, 뇌 정맥의 준감독형 분할을 가능하게 하기 위해.
• 사이클 기반 GAN 아키텍처의 복잡성을 줄이면서도 안정적이고 효율적인 훈련을 유지하기 위해.
• 정확하고 외관을 유지하는 번역을 위해 부피 관련 특성과 혈관 관련 특성(강도 및 질감 등)을 분리하기 위해.
• 형태학적 및 강도 분포의 차이가 존재함에도 불구하고 3D 뇌혈관 분할에서의 교차 모odal 일반화를 향상시키기 위해.

제안 방법

• 먼저 도메인 번역을 학습하고, 그 다음 공동 분할 및 적응을 수행하는 두 단계 훈련 전략.
• 다중 구성 요소 사이클-GAN과 비교해 복잡성을 줄이기 위해 단일 생성기, 판별기 및 인코더 아키텍처를 사용.
• 부피의 구조와 혈관 특화된 특성(강도 및 질감 등)을 분리한 분리된 의미적 풍부한 잠재 공간.
• 최소한의 GAN 손실 사용으로 안정화된 훈련을 위한 이미지 수준의 도메인 적응을 통한 적대적 훈련.
• 원천 레이블 데이터와 대상 미레이블 데이터에서 약한 지도 신호를 사용해 번역과 분할을 동시에 학습하는 엔드 투 엔드 최적화.
• 고해상도의 내용 보존 번역을 위해 스타일 기반 GAN2 기반의 잠재 공간을 사용해 정맥영상에서 관류영상 스타일로의 이미지 번역.

실험 결과

연구 질문

• RQ1 제한된 레이블이 부여된 정맥영상과 풍부한 레이블이 부여된 관류영상만을 사용할 때, 준감독형 도메인 적응 프레임워크가 관류영상에서 정맥영상으로 지식을 효과적으로 전이할 수 있는가?
• RQ2 큰 도메인 이동이 존재하는 상황에서, 분리된 잠재 공간은 교차 모달 번역과 분할을 어떻게 향상시킬 수 있는가?
• RQ3 단순화된 세 구성 요소 아키텍처는 3D 의료 영상 도메인 적응에서 복잡한 사이클-GAN보다 얼마나 뛰어나게 성능을 낼 수 있는가?
• RQ4 적대적 훈련의 복잡성을 줄이면 성능을 희생시키지 않고도 더 안정적이고 효율적인 훈련이 가능할까?
• RQ5 혈관 형태와 영상 외관의 큰 차이가 존재함에도 불구하고, 이 방법은 뇌 혈관과 같은 작은 복잡한 구조로 일반화될 수 있는가?

주요 결과

• 제안된 A2V 프레임워크는 정맥 혈관 분할에서 평균 70.4%의 Dice 스코어를 달성하며, 두 번째로 우수한 성능을 보인 CS-CADA보다 19.0个百分点 이상 높다.
• 원천 도메인에서도 높은 성능를 유지하여 뇌 구조에서 97.5%의 Dice 스코어를 기록함으로써 원천에서 대상으로의 일반화 능력이 뛰어나다는 것을 보여준다.
• 사이클-GAN에서 다수의 생성기/판별기 구성 요소를 제거하여 단일 생성기, 단일 판별기, 단일 인코더로 구성함으로써 모델의 효율성과 해석 가능성 향상.
• 두 단계 훈련 전략은 적대적 손실 사용을 최소화하여 훈련 중 안정적이고 빠른 수렴을 이끌어냈다.
• 시각적 결과에서는 공간적 구조와 혈관 토폴로지가 유지되며, 번역된 정맥영상 이미지에서 현실적인 동맥 유사 외관이 생성됨을 확인할 수 있었다.
• 제거 실험 결과에서 분리된 표현 학습이 특히 작은 복잡한 혈관에 대해 정확한 번역과 분할을 위해 필수적임을 확인했다.