[논문 리뷰] Unsupervised Adaptation of Semantic Segmentation Models without Source Data

Sujoy Paul, Ansh Khurana외 1명|arXiv (Cornell University)|2021. 12. 04.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 원천 데이터에 접근할 수 없는 환경에서, 신뢰도 필터링을 통한 가짜 레이블링과 공간적 및 증강 변환에 따른 입력-출력 일관성 기반의 자기학습 프레임워크를 제안한다. 이 방법은 GTA5→Cityscapes, SYNTHIA→Cityscapes, SceneNet→SUN에서 최신 기술 수준(SOTA) 성능을 달성하며, 원천 데이터를 사용하지 않는 기존의 소스-프리 접근 방식을 초월하고 있으며, 원천 데이터를 사용하는 SOTA 결과에 근접한다.

ABSTRACT

We consider the novel problem of unsupervised domain adaptation of source models, without access to the source data for semantic segmentation. Unsupervised domain adaptation aims to adapt a model learned on the labeled source data, to a new unlabeled target dataset. Existing methods assume that the source data is available along with the target data during adaptation. However, in practical scenarios, we may only have access to the source model and the unlabeled target data, but not the labeled source, due to reasons such as privacy, storage, etc. In this work, we propose a self-training approach to extract the knowledge from the source model. To compensate for the distribution shift from source to target, we first update only the normalization parameters of the network with the unlabeled target data. Then we employ confidence-filtered pseudo labeling and enforce consistencies against certain transformations. Despite being very simple and intuitive, our framework is able to achieve significant performance gains compared to directly applying the source model on the target data as reflected in our extensive experiments and ablation studies. In fact, the performance is just a few points away from the recent state-of-the-art methods which use source data for adaptation. We further demonstrate the generalisability of the proposed approach for fully test-time adaptation setting, where we do not need any target training data and adapt only during test-time.

연구 동기 및 목표

• 기밀 또는 저장 제약으로 인해 원천 레이블이 있는 원천 데이터에 접근할 수 없는 실용적 과제를 해결하기 위해, 원천 데이터에 접근하지 않고도 의미 분할 모델을 새로운 도메인에 적응시키는 데 목적이 있다.
• 오직 레이블이 없는 타겟 데이터만을 사용하여 사전 학습된 원천 모델의 지식을 추출하는 자기학습 프레임워크를 개발하는 데 목적이 있다.
• 원천 데이터가 없는 환경에서 일관성 정규화와 가짜 레이블링이 도메인 적응에 얼마나 효과적인지 입증하는 데 목적이 있다.
• 제안된 방법을 완전히 테스트 시간 적응 설정으로 확장하여, 타겟 학습 데이터가 전혀 없더라도 추론 샘플 단위로 적응이 가능하게 하는 데 목적이 있다.

제안 방법

• 분포 이탈을 줄이기 위해, 레이블이 없는 타겟 데이터를 사용하여 타겟 모델의 배치 정규화(배치 노멀라이제이션) 파라미터만 업데이트한다.
• 원천 모델을 사용하여 레이블이 없는 타겟 이미지의 가짜 레이블을 생성하고, 낮은 신뢰도 예측을 제거하기 위해 신뢰도 필터링을 적용한다.
• 입력-출력 일관성을 강제하기 위해, 입력 이미지에 공간 변환(예: 회전, 뒤집기)과 데이터 증강(예: 컷아웃, 블러)을 적용하고, 다양한 시각 간 일관한 예측을 요구한다.
• 제약 조건이 있는 목적 함수를 최적화하여, 가짜 레이블 손실을 최소화하면서도 변환된 입력에서 유도된 일관성 제약 조건을 만족한다.
• 학습 다양성을 높이고 일반화 성능을 향상시키기 위해 이미지 콜라주 전략을 사용한 데이터 증강 기법을 도입한다.
• 각 예측 후 소스 가중치로 모델을 초기화함으로써, 각 테스트 이미지에 대해 일관성 손실를 적용하는 방식으로, 테스트 시간 적응을 위한 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 원천 학습 데이터에 접근할 수 없는 환경에서 의미 분할 모델을 새로운 도메인에 효과적으로 적응시킬 수 있는가?
• RQ2 원천 데이터가 없는 환경에서 일관성 기반 자기학습과 가짜 레이블링은 도메인 적응에 얼마나 효과적인가?
• RQ3 제안된 방법은 원천 데이터를 사용하는 최신 기술 수준(SOTA) 방법과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 일관성 기반 접근 방식은 타겟 학습 데이터가 전혀 없는 완전한 테스트 시간 적응 설정으로 일반화될 수 있는가?

주요 결과

• GTA5→Cityscapes에서 제안된 방법은 39.3 mIoU를 달성하며, 기존의 소스-프리 방법을 초월하고 있으며, 원천 데이터를 사용하는 SOTA 방법과 몇 점 내외로 근접한다.
• SYNTHIA→Cityscapes에서 33.2 mIoU를 기록하여 다양한 실외 환경 간 강력한 일반화 능력을 입증한다.
• 신규로 탐색되지 않은 실내 도메인 이탈(예: SceneNet→SUN)에 대해서는 27.6 mIoU를 달성하여, 이 분야에서 새로운 SOTA를 수립한다.
• 완전한 테스트 시간 적응 설정에서, GTA5→Cityscapes에서 39.3 mIoU를 기록하며, 최근의 TTA 방법에서 제안된 전용 손실 함수를 초월한다.
• 절단 실험 결과, 원천 모델을 미세조정하는 것보다 새로운 타겟 모델을 처음부터 학습하는 것이 성능이 열 劣하므로, 초기화를 새로 시작하는 것이 유리함을 확인한다.
• 증강된 이미지가 아닌 원본 이미지에 대해 일관성 기반 가짜 레이블링을 수행할 경우, 증강된 이미지에 대한 가짜 레이블링보다 성능이 뛰어나며, 이는 변환 순서의 중요성을 확인한다.