[논문 리뷰] Synergistic Image and Feature Adaptation: Towards Cross-Modality Domain Adaptation for Medical Image Segmentation

Cheng Chen, Qi Dou외 3명|arXiv (Cornell University)|2019. 01. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 25인용 수 42

한 줄 요약

SIFA를 소개하는, 타깃 도메인 주석 없이 의료 영상 분할을 개선하기 위해 이미지 외관 변환과 특징 불변 학습을 시너지적으로 결합하는 비지도 크로스-모달리티 도메인 적응 프레임워크.

ABSTRACT

This paper presents a novel unsupervised domain adaptation framework, called Synergistic Image and Feature Adaptation (SIFA), to effectively tackle the problem of domain shift. Domain adaptation has become an important and hot topic in recent studies on deep learning, aiming to recover performance degradation when applying the neural networks to new testing domains. Our proposed SIFA is an elegant learning diagram which presents synergistic fusion of adaptations from both image and feature perspectives. In particular, we simultaneously transform the appearance of images across domains and enhance domain-invariance of the extracted features towards the segmentation task. The feature encoder layers are shared by both perspectives to grasp their mutual benefits during the end-to-end learning procedure. Without using any annotation from the target domain, the learning of our unified model is guided by adversarial losses, with multiple discriminators employed from various aspects. We have extensively validated our method with a challenging application of cross-modality medical image segmentation of cardiac structures. Experimental results demonstrate that our SIFA model recovers the degraded performance from 17.2% to 73.0%, and outperforms the state-of-the-art methods by a significant margin.

연구 동기 및 목표

• 의료 영상 모달리티 간 심한 도메인 시프트(예: MR와 CT)으로 인한 분할 작업의 도메인 간 차이를 해결한다.
• 이미지 외관 변환과 특징 수준 도메인 정렬을 결합한 비지도 프레임워크를 개발한다.
• 엔드-투-엔드, 0주석 전달을 가능하게 하기 위해 이미지 적응과 특징 적응 간 표현을 공유한다.
• 크로스 모달 심장 구조 분할에서의 효과를 입증하고 Dice/ ASD 지표에서 기존 방법을 능가한다.

제안 방법

• 생성적 적대 신경망과 순환 일관성(cycle-consistency)을 통해 소스 도메인 이미지를 대상 유사한 외관으로 변환하기 위한 이미지 적응을 사용한다.
• 공간이 간략한 공간에서 판별기를 도입하여 특징 어댑터를 공동으로 학습한다: 의미 예측 공간과 생성된 이미지 공간.
• 이미지 적응과 특징 적응 사이에 엔코더를 공유하여 통일되고 도메인 불변 표현을 학습한다.
• 클래스 불균형을 다루기 위해 교차 엔트로피 + Dice로 구성된 하이브리드 분할 손실로 최적화한다.
• 세 개의 판별자(D_t, D_s, D_p)와 두 개의 제너레이터(G_t, G_s)를 엔드-투-엔드 적대 학습 프레임워크 내에서 활용한다.
• 이미지 변환, 판별자, 엔코더, 분류기, 디코더 및 특징 공간 판별자를 업데이트하는 번갈아가며 학습 순서를 따른다.

실험 결과

연구 질문

• RQ1 타깃 주석 없이도 의학 영상 분할에서 크로스 모달리티 도메인 간 차이를 줄이기 위해 시너지를 낸 엔드-투-엔드 이미지 및 특징 적응이 가능할까?
• RQ2 특징 인코더를 공유하면 이미지 외관 변환과 특징 불변 학습 사이의 상호 이점을 얻을 수 있을까?
• RQ3 컴팩트한 공간의 판별기(의미 예측 공간 및 생성된 이미지 공간)가 이미지 전용 또는 특징 전용 접근 방식보다 도메인 불변 특징 학습을 얼마나 향상시킬 수 있을까?
• RQ4 프레임워크가 MR-에서 CT로의 심장 구조 분할과 같은 도전적인 크로스 모달리티 작업에 효과적일까?

주요 결과

• SIFA는 MR에서 CT로의 분할에서 4개 심장 구조에 대한 Dice 평균 17.2%에서 73.0%로 분할 성능을 회복한다.
• SIFA는 심장 분할 작업에서 Dice와 ASD 지표에 대해 최첨단 비지도 도메인 적응 방법보다 우수한 성능을 보인다.
• 이미지 적응만으로도 상당한 이득이 제공되며, 의미 예측 공간에서의 특징 적응을 추가하면 성능이 더 개선되고, 생성된 소스 공간 적응을 추가하면 최상의 결과를 얻는다.
• CyCADA와 비교할 때, SIFA는 LVC 및 MYO 구조에서 우수한 성능을 달성하여 시너지적 양방향 적응 프레임워크의 이점을 시사한다.
• 약화는 이미지 적응과 두 가지 특징-적응 구성 요소를 결합하면 Dice 점수의 최강 상승 효과를 보여주며(평균 Dice 73.0).