[논문 리뷰] Deep Symmetric Adaptation Network for Cross-modality Medical Image Segmentation

Xiaoting Han, Lei Qi외 5명|arXiv (Cornell University)|2021. 01. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 36인용 수 4

한 줄 요약

이 논문은 공유 인코더와 개인 디코더를 갖춘 두 개의 대칭적 번역 서브넷을 통해 이중 방향 특징 정렬을 실현하는 딥 대칭 적응 네트워크를 제안한다. 이는 서로 다른 모odalities 간의 의료 영상 분할을 위한 것으로, 실제 이미지와 양방향으로 번역된 이미지에 대해 공동으로 훈련함으로써 성능을 향상시킨다. Cardiac 및 BraTS 데이터셋에서 사전 최고 성능을 달성하며, Dice 점수는 78.50%를 기록한다.

ABSTRACT

Unsupervised domain adaptation (UDA) methods have shown their promising performance in the cross-modality medical image segmentation tasks. These typical methods usually utilize a translation network to transform images from the source domain to target domain or train the pixel-level classifier merely using translated source images and original target images. However, when there exists a large domain shift between source and target domains, we argue that this asymmetric structure could not fully eliminate the domain gap. In this paper, we present a novel deep symmetric architecture of UDA for medical image segmentation, which consists of a segmentation sub-network, and two symmetric source and target domain translation sub-networks. To be specific, based on two translation sub-networks, we introduce a bidirectional alignment scheme via a shared encoder and private decoders to simultaneously align features 1) from source to target domain and 2) from target to source domain, which helps effectively mitigate the discrepancy between domains. Furthermore, for the segmentation sub-network, we train a pixel-level classifier using not only original target images and translated source images, but also original source images and translated target images, which helps sufficiently leverage the semantic information from the images with different styles. Extensive experiments demonstrate that our method has remarkable advantages compared to the state-of-the-art methods in both cross-modality Cardiac and BraTS segmentation tasks.

연구 동기 및 목표

• MRI 및 CT와 같은 다른 의료 영상 모odal 간의 큰 도메인 시프트로 인해 분할 성능이 저하되는 문제를 해결한다.
• 단방향 번역 또는 특징 정렬에 의존하는 비대칭 UDA 방법의 한계를 극복한다.
• 원천 도메인과 타겟 도메인 간의 대칭적 특징 정렬을 통해 분할 일반화 성능을 향상시킨다.
• 실제 이미지와 양방향으로 번역된 이미지를 모두 활용하여 의미적 특징 학습을 향상시킨다.
• 교차 모달 의료 영상 분할 작업에서 사전 최고 성능을 달성한다.

제안 방법

• 원천에서 타겟으로, 타겟에서 원천으로 번역하는 두 개의 번역 서브넷을 갖춘 대칭 아키텍처를 도입한다. 두 서브넷은 동일한 인코더를 공유한다.
• 공유 인코더를 통해 도메인 불변 특징을 학습하고, 개인 디코더를 통해 재구성 손실을 통해 도메인 특화된 표현을 학습한다.
• 공유 판별자를 사용하여 양 도메인에서 실제 이미지와 생성된 이미지를 구별하는 적대적 훈련을 실시함으로써 의미 일致성을 확보한다.
• 실제 타겟 이미지, 번역된 원천 이미지, 실제 원천 이미지, 번역된 타겟 이미지를 사용하여 분할 네트워크를 훈련시켜 다중 스타일 의미 정보를 최대한 활용한다.
• 엔드 투 엔드 방식으로 분할 및 번역 서브넷을 공동 최적화함으로써 이중 방향 특징 정렬을 구현한다.
• 공유 판별자를 양 도메인에 모두 사용하여 적대적 손실의 일관성을 유지하고 특징 일반화를 향상시킨다.

실험 결과

연구 질문

• RQ1 이중 방향 번역을 통한 대칭 도메인 적응은 비대칭 접근 방식에 비해 교차 모달 의료 영상 분할 성능을 향상시키는가?
• RQ2 원천 도메인과 타겟 도메인에서 실제 이미지와 번역된 이미지를 공동으로 훈련하면 의미적 특징 학습과 분할 정확도가 향상되는가?
• RQ3 분할 및 번역 네트워크 간에 인코더를 공유할 경우 도메인 불변 표현 학습에 어떤 영향을 미치는가?
• RQ4 번역 서브넷에서 개인 디코더를 사용할지 공유 디코더를 사용할지의 차이는 어떤가?
• RQ5 공유 판별자를 사용할 경우 실제 이미지와 생성된 이미지 간의 의미 일관성을 유지하는 데 얼마나 효과적인가?

주요 결과

• 제안된 방법은 BraTS 데이터셋에서 78.50%의 Dice 점수를 기록하여 사전 최고 성능을 달성한다.
• 평균 표면 거리(ASD)를 5.92로 감소시켜 분할 경계 정확도 향상을 나타낸다.
• 공유 디코더 대비 개인 디코더 사용 시 Dice 점수는 33.57%포인트 향상(44.93% → 78.50%)된다.
• 인코더를 공유할 경우 비공유 인코더를 사용한 경우보다 Dice 점수는 4.60%포인트 향상된다.
• 판별자를 공유할 경우 비공유 판별자를 사용한 경우보다 Dice 점수는 2.36%포인트 향상된다.
• Cardiac 및 BraTS 데이터셋 양쪽에서 뚜렷한 성능 향상을 기록하며, 다양한 의료 영상 작업에 대한 강건성을 입증한다.