[논문 리뷰] Target and Task specific Source-Free Domain Adaptive Image Segmentation

Vibashan VS, Jeya Maria Jose Valanarasu외 1명|arXiv (Cornell University)|2022. 03. 29.

Domain Adaptation and Few-Shot Learning인용 수 16

한 줄 요약

이 논문은 소스 데이터 접근이 개인정보 보호 제약으로 인해 불가능한 상황에서 의료 영상 분할을 위한 소스 프리 비지도 도메인 적응(SFUDA)을 위한 이중 단계(Source-free unsupervised domain adaptation) 방법인 TT-SFUDA를 제안한다. 첫 번째 단계에서는 앙상블 엔트로피 최소화와 선택적 투표 기반으로 가짜 레이블 품질을 향상시켜 타겟 도메인 특화 적응을 수행하고, 두 번째 단계에서는 학생-교수 프레임워크를 활용해 분할 성능을 정교화한다. 이 방법은 2D 펌터스 및 3D MRI 데이터셋에서 7개의 도메인 이동에 대해 최신 기술을 초월하는 성능을 기록한다.

ABSTRACT

Solving the domain shift problem during inference is essential in medical imaging, as most deep-learning based solutions suffer from it. In practice, domain shifts are tackled by performing Unsupervised Domain Adaptation (UDA), where a model is adapted to an unlabelled target domain by leveraging the labelled source data. In medical scenarios, the data comes with huge privacy concerns making it difficult to apply standard UDA techniques. Hence, a closer clinical setting is Source-Free UDA (SFUDA), where we have access to source-trained model but not the source data during adaptation. Existing SFUDA methods rely on pseudo-label based self-training techniques to address the domain shift. However, these pseudo-labels often have high entropy due to domain shift and adapting the source model with noisy pseudo-labels leads to sub-optimal performance. To overcome this limitation, we propose a systematic two-stage approach for SFUDA comprising of target-specific adaptation followed by task-specific adaptation. In target-specific adaptation, we enhance the pseudo-label generation by minimizing high entropy regions using the proposed ensemble entropy minimization loss and a selective voting strategy. In task-specific adaptation, we exploit the enhanced pseudo-labels using a student-teacher framework to effectively learn segmentation on the target domain. We evaluate our proposed method on 2D fundus datasets and 3D MRI volumes across 7 different domain shifts where we perform better than existing UDA and SFUDA methods for medical image segmentation. Code is available at https://github.com/Vibashan/tt-sfuda.

연구 동기 및 목표

• 소스 데이터 접근이 개인정보 보호 제약으로 인해 불가능한 상황에서 도메인 이동 문제를 해결하기 위해.
• 소스 프리 비지도 도메인 적응(SFUDA)에서 노이즈가 많고 엔트로피가 높은 가짜 레이블의 한계를 극복하기 위해.
• 타겟 특화 학습과 작업 특화 학습을 분리하여 보다 강건한 두 단계의 적응 프레임워크를 체계적으로 개발하기 위해.
• 앙성 엔트로피 최소화와 선택적 투표를 통해 가짜 레이블 품질을 향상시켜 예측의 불확실성을 줄이기 위해.
• 소스 프리 도메인 적응 환경에서 다양한 의료 영상 분할 벤치마크에서 최신 기술 성능을 달성하기 위해.

제안 방법

• 이중 단계 프레임워크 도입: 제1단계는 가짜 레이블 품질 향상을 위한 타겟 특화 적응을 수행하고, 제2단계는 분할 정교화를 위한 작업 특화 적응을 수행한다.
• 동일한 이미지의 다중 증강된 시각에서 가짜 레이블의 고엔트로피 영역을 줄이는 앙성 엔트로피 최소화(EEM) 손실을 제안한다.
• 증강된 예측 간 일관성이 높은 고엔트로피 영역을 식별하고 보다 신뢰할 수 있는 가짜 레이블을 생성하는 선택적 투표 전략을 구현한다.
• 제2단계에서 강한 증강과 약한 증강을 활용해 예측 일관성을 강제하고 분할 일반화 성능을 향상시키기 위해 학생-교수 자기학습 프레임워크를 적용한다.
• 제1단계에서 확보한 향상된 가짜 레이블을 제2단계의 지도 학습으로 활용하여 소스 데이터 접근 없이도 타겟 도메인에 효과적으로 적응할 수 있도록 한다.
• EEM, 선택적 투표, 학생-교수 손실을 병행하여 종합 최적화를 통해 레이블 품질과 분할 정확도를 동시에 향상시키기 위해 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 앙성 엔트로피 최소화와 선택적 투표를 통해 가짜 레이블 품질을 향상시키면 의료 영상 분할에서 소스 프리 도메인 적응 성능이 향상되는가?
• RQ2 타겟 특화 적응 이후 작업 특화 적응을 수행하는 순서가 모델 성능에 상당한 영향을 미치는가?
• RQ3 향상된 가짜 레이블을 활용한 학생-교수 프레임워크가 도메인 이동 상황에서 작업 특화 분할 학습에 얼마나 효과적인가?
• RQ4 제안된 손실(EEM, SV, ST)이 개별적으로나 병합하여 성능 향상에 기여하는 정도는 어느 정도인가?
• RQ5 이중 단계 프레임워크는 2D 및 3D 의료 영상 모odalities에서 다양한 도메인 이동에 대해 일반화 가능한가?

주요 결과

• TT-SFUDA는 2D 펌터스 및 3D MRI 데이터셋에서 7개의 도메인 이동에 대해 최신 기술을 초월하는 성능을 기록하였다. 기존의 UDA 및 SFUDA 방법보다 뛰어난 성능을 보였다.
• CHASE-BR 데이터셋에서 CHASE → HRF 이동 시 TT-SFUDA는 평균 DICE 스코어 58.25 ± 1.06을 기록하였으며, 적응 순서를 뒤집었을 때 두 번째로 좋은 성능을 낸 방법(55.20 ± 1.45)보다 유의미하게 높았다.
• 절단 실험 결과, EEM, 선택적 투표, 학생-교수 손실을 병합할 경우 최고의 성능을 달성하였으며, 학생-교수 손실만으로도 고도메인 갭 상황에서 성능을 최대 14.4% 향상시켰다.
• 적응 순서가 중요하다: 타겟 특화 적응 이후 작업 특화 적응을 수행할 경우 뛰어난 성능을 기록하지만, 반대로 수행할 경우 노이즈 과적합으로 인해 성능 저하가 발생한다.
• HRF → RITE 이동에서 TT-SFUDA는 DICE 스코어 58.37 ± 1.03을 기록하여 다음으로 좋은 방법(52.63 ± 1.36)보다 5.7퍼센트 이상 높았다.
• 2D 및 3D 모달리티 전반에서 일관된 성능 향상을 보이며, 다양한 의료 영상 환경에서의 도메인 이동에 대한 강건성을 확인하였다.