[논문 리뷰] COSMOS: Cross-Modality Unsupervised Domain Adaptation for 3D Medical Image Segmentation based on Target-aware Domain Translation and Iterative Self-Training

Hyungseob Shin, Hyeongyu Kim외 4명|arXiv (Cornell University)|2022. 03. 30.

Domain Adaptation and Few-Shot Learning인용 수 11

한 줄 요약

COSMOS는 3D 의료 영상 분할을 위한 교차 모odal 비지도 도메인 적응 프레임워크를 제안하며, 표적 인식 도메인 변환을 통해 레이블이 붙은 T1 MRI를 허위 T2 MRI로 변환하면서도 핵심 해부학적 구조를 유지합니다. 이후 반복적 자기학습을 통해 허위 레이블을 정교화하고 분할 성능을 향상시킵니다. 고해상도 T2 MRI에서 전정 신경종 및 고귀리아 분할에 대해 각각 평균 DICE 스코어 0.871 ± 0.063과 0.842 ± 0.020을 기록하여 최신 기술 수준을 달성하였고, crossMoDA 챌린지에서 1등을 차지했습니다.

ABSTRACT

Recent advances in deep learning-based medical image segmentation studies achieve nearly human-level performance when in fully supervised condition. However, acquiring pixel-level expert annotations is extremely expensive and laborious in medical imaging fields. Unsupervised domain adaptation can alleviate this problem, which makes it possible to use annotated data in one imaging modality to train a network that can successfully perform segmentation on target imaging modality with no labels. In this work, we propose a self-training based unsupervised domain adaptation framework for 3D medical image segmentation named COSMOS and validate it with automatic segmentation of Vestibular Schwannoma (VS) and cochlea on high-resolution T2 Magnetic Resonance Images (MRI). Our target-aware contrast conversion network translates source domain annotated T1 MRI to pseudo T2 MRI to enable segmentation training on target domain, while preserving important anatomical features of interest in the converted images. Iterative self-training is followed to incorporate unlabeled data to training and incrementally improve the quality of pseudo-labels, thereby leading to improved performance of segmentation. COSMOS won the 1 extsuperscript{st} place in the Cross-Modality Domain Adaptation (crossMoDA) challenge held in conjunction with the 24th International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI 2021). It achieves mean Dice score and Average Symmetric Surface Distance of 0.871(0.063) and 0.437(0.270) for VS, and 0.842(0.020) and 0.152(0.030) for cochlea.

연구 동기 및 목표

• 3D 의료 영상 분할에서 픽셀 수준의 레이블이 고비용이자 희소한 문제를 해결하기 위해 다양한 영상 모odal 간 도메인 적응을 가능하게 하기 위해.
• 임상적 MRI에서 대조제와 장시간 스캔에 의존하는 것을 줄이기 위해 T1 MRI 레이블만을 사용하여 고해상도 T2 MRI에서 분할을 수행할 수 있도록 하기 위해.
• 미리 레이블이 지정되지 않은 표적 도메인 T2 MRI에서 분할 성능을 향상시키기 위해 점진적으로 정교화된 허위 레이블을 활용한 자기학습을 통해.
• T1에서 T2로의 교차 모달 영상 변환 과정에서 전정 신경종 및 고귀리아와 같은 중요한 해부학적 구조를 유지하기 위해.
• 다른 MRI 대비 간의 도메인 갭을 메우는 일반화 가능한 비지도 프레임워크를 개발하기 위해.

제안 방법

• 표적 인식 도메인 변환 네트워크는 T1에서 T2로의 변환 과정에서 전정 신경종 및 고귀리아의 세밀한 해부학적 세부사항을 유지하면서 동시에 영상 변환과 분할을 동시에 수행합니다.
• 구조 유지 지도를 위해 변환 과정에 분할 헤드를 통합한 사이클 일관성 생성 적대 신경망(Cycle-GAN)을 사용합니다.
• 반복적 자기학습은 실제 미리 레이블이 지정되지 않은 T2 MRI와 번역 네트워크로부터 생성된 허위 레이블이 붙은 영상을 결합하여 여러 에포크에 걸쳐 모델을 업데이트합니다.
• 허위 레이블 생성 시 신뢰도 기반 필터링을 적용하여 저신뢰도 예측을 제외함으로써 학습 안정성과 레이블 품질을 향상시킵니다.
• 분할 헤드가 변환 네트워크가 관련 해부학적 특징에 집중하도록 지시함으로써 도메인 변환과 분할 정교화를 번갈아 수행합니다.
• 두 단계의 훈련 파이프라인을 통해 도메인 변환이 최적화된 후에 분할이 최적화되도록 하며, 후반 단계에서는 특징 정렬을 향상시키기 위해 공동 최적화를 수행합니다.

실험 결과

연구 질문

• RQ1 표적 인식 도메인 변환은 레이블이 붙은 T1 MRI를 현실적인 허위 T2 MRI로 효과적으로 변환할 수 있으며, 분할을 위한 중요한 해부학적 구조를 유지할 수 있는가?
• RQ2 점차적으로 정교화된 허위 레이블을 활용한 반복적 자기학습이 미리 레이블이 지정되지 않은 표적 도메인 T2 MRI에서 분할 성능을 크게 향상시킬 수 있는가?
• RQ3 분할 감시가 도메인 변환 과정에 통합될 경우 구조 유지 및 분할 정확도에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 기존의 비지도 도메인 적응 접근법보다 교차 모달 3D 의료 영상 분할에서 더 우수한 성능을 낼 수 있는가?
• RQ5 신뢰도 기반 필터링 전략은 허위 레이블 품질과 후속 분할 성능에 어떤 영향을 미치는가?

주요 결과

• 전정 신경종 분할에서 COSMOS는 고해상도 T2 MRI에서 평균 DICE 스코어 0.871 ± 0.063과 평균 대칭 표면 거리(ASSD) 0.437 ± 0.270을 기록했습니다.
• 고귀리아 분할에서는 평균 DICE 스코어 0.842 ± 0.020과 ASSD 0.152 ± 0.030을 달성하여 높은 정밀도와 표면 정확도를 입증했습니다.
• COSMOS는 MICCAI 2021에서 개최된 crossMoDA 챌린지에서 1등을 차지하여 DICE 및 ASSD 지표에서 세 개의 상위 랭킹 방법을 모두 앞섰습니다.
• 반복적 자기학습은 훈련 반복 동안 지속적이고 점진적인 성능 향상을 이끌었으며, DICE 및 ASSD 지표가 모두 향상되었습니다.
• 신뢰도 기반 필터링 전략은 노이즈가 많은 허위 레이블을 효과적으로 줄여 안정적이고 신뢰할 수 있는 모델 수렴에 기여했습니다.
• 절단 실험 결과, 변환과 분할의 공동 최적화 및 표적 인식 설계가 해부학적 구조 유지 및 분할 정확도를 크게 향상시켰음을 확인했습니다.