[논문 리뷰] A Curriculum-style Self-training Approach for Source-Free Semantic Segmentation

Yuxi Wang, Jian Liang외 1명|arXiv (Cornell University)|2021. 06. 22.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 소스 데이터에 접근할 수 없는 환경에서 도메인 적응을 가능하게 하는, 새로운 커리큘럼 스타일의 자기학습 프레임워크인 ATP를 제안한다. 암묵적 특징 정렬을 통한 가설 전이, 양성 및 음성 허위 레이블을 활용한 双방향 자기학습, 그리고 도메인 내 일관성을 위한 정보 전파를 통해, ATP는 GTA5→Cityscapes 및 크로스시티 주행 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 소스 데이터 접근이 필요한 기존 방법들을 능가한다.

ABSTRACT

Source-free domain adaptation has developed rapidly in recent years, where the well-trained source model is adapted to the target domain instead of the source data, offering the potential for privacy concerns and intellectual property protection. However, a number of feature alignment techniques in prior domain adaptation methods are not feasible in this challenging problem setting. Thereby, we resort to probing inherent domain-invariant feature learning and propose a curriculum-style self-training approach for source-free domain adaptive semantic segmentation. In particular, we introduce a curriculum-style entropy minimization method to explore the implicit knowledge from the source model, which fits the trained source model to the target data using certain information from easy-to-hard predictions. We then train the segmentation network by the proposed complementary curriculum-style self-training, which utilizes the negative and positive pseudo labels following the curriculum-learning manner. Although negative pseudo-labels with high uncertainty cannot be identified with the correct labels, they can definitely indicate absent classes. Moreover, we employ an information propagation scheme to further reduce the intra-domain discrepancy within the target domain, which could act as a standard post-processing method for the domain adaptation field. Furthermore, we extend the proposed method to a more challenging black-box source model scenario where only the source model's predictions are available. Extensive experiments validate that our method yields state-of-the-art performance on source-free semantic segmentation tasks for both synthetic-to-real and adverse conditions datasets. The code and corresponding trained models are released at \url{https://github.com/yxiwang/ATP}.

연구 동기 및 목표

• 개인정보나 지적재산권 제약으로 인해 소스 데이터 접근이 불가능한 상황에서의 세그멘테이션 도메인 이동 문제를 해결한다.
• 소스 데이터에 의존하지 않고, 사전 학습된 소스 모델만을 이용해 새로운 타겟 도메인으로의 도메인 적응 프레임워크를 개발한다.
• 소스 모델의 예측 결과만 제공되는 더 실용적인 블랙박스 시나리오로 프레임워크를 확장한다.
• 음성 허위 레이블과 도메인 내 일관성 정규화를 도입하여 타겟 도메인 내 표현 학습을 향상시킨다.

제안 방법

• 소스 모델의 예측을 활용해, 소스 데이터가 없는 경우에도 타겟 특징을 미시적 방식으로 소스 특징과 정렬하는 커리큘럼 스타일 엔트로피 최소화 목적함수를 제안한다.
• 낮은 신뢰도 및 어려운 샘플에 집중하기 위해, 양성 및 음성 허위 레이블을 모두 활용한 양방향 자기학습을 도입하여 특징 학습을 향상시킨다.
• 타겟 도메인 내 부정확도를 줄이기 위해, 허위 반감독 학습을 적용하는 정보 전파 기반 설계를 제안한다.
• 고정된 소스 분류기를 활용한 가설 전이를 통해 특징 정렬을 안정화하고, 적응 과정에서 분포 이동을 방지한다.
• 클래스에 관계없이 특징 다양성을 증진시켜 일반화 성능을 향상시키기 위해 가중치가 부여된 다양성 손실을 도입한다.
• 소스 특징에 대한 액세스를 소스 모델의 출력 예측 결과로만 대체함으로써, 프레임워크를 블랙박스 설정으로 확장한다.

Figure 1: Comparison between the conventional, source data-free, and black-box source-model domain adaptation for semantic segmentation. The proposed source data-free domain adaptation method only relies on the trained source model, while the conventional methods require all the labeled source data

실험 결과

연구 질문

• RQ1 소스 데이터 접근이 불가능한 상황에서, 가설 전이를 통한 암묵적 특징 정렬이 명시적 도메인 정렬을 효과적으로 대체할 수 있는가?
• RQ2 자기학습 과정에 음성 허위 레이블을 통합하면 소스 프리 도메인 적응에서 표현 학습이 향상되는가?
• RQ3 허위 반감독 학습을 통한 정보 전파로 도메인 내 이질성은 감소하고 세그멘테이션 정확도는 향상되는가?
• RQ4 특히 소스 데이터가 없는 상황에서, 제안된 방법의 하이퍼파rameter 선택에 대해 얼마나 강건한가?
• RQ5 소스 모델의 예측 결과만 제공되는 블랙박스 시나리오로도 프레임워크가 일반화 가능한가?

주요 결과

• ATP는 GTA5→Cityscapes 벤치마크에서 평균 교차율(mIoU) 39.8을 기록하여, 이전의 모든 소스 프리 방법을 능가하고, 소스 데이터 접근이 필요한 방법들과도 동등한 성능을 달성한다.
• 모델는 하이퍼파rameter, 특히 음성 허위 레이블 임계값 λ_neg에 대해 매우 강건하며, λ_neg < 0.1일 때 최적의 성능을 보인다.
• 제거 실험을 통해 암묵적 정렬, 이중 자기학습, 정보 전파 각각의 구성 요소가 성능 향상에 기여한다는 것이 확인되었다.
• 소스 모델의 예측 결과만 제공되는 블랙박스 시나리오에서도 경쟁력 있는 성능을 보이며, 실용성의 타당성을 입증한다.
• 소스 분류기가 미세조정되지 않은 상태에서도 빠르게 수렴하고 높은 성능을 유지함으로써, 가설 전이 기반 메커니즘이 매우 안정적임을 시사한다.
• 일반적인 클래스에서는 성능 향상이 두드러지지만, fencing, pole, signal, train 등 희귀하거나 도메인 간 격차가 큰 카테고리에서는 여전히 어려움을 겪는다.

Figure 2: Illustration of the proposed align, teach, and propagate ( ATP ) framework for domain adaptive semantic segmentation without source data. (a) is the implicit feature alignment. We freeze the classifier and train the feature extractor to achieve implicit feature alignment by minimizing $\ma