[논문 리뷰] Unsupervised Domain Adaptation for Object Detection via Cross-Domain Semi-Supervised Learning

Fuxun Yu, Di Wang외 8명|arXiv (Cornell University)|2019. 11. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 36

한 줄 요약

CDSSL은 객체 탐지를 위한 도메인 간 차이를 줄인다(1) 소스 데이터를 탐지 지향 중간 도메인으로 전송하고 (2) 불균형 샘플링과 점진적 신뢰도 기반 라벨 샤프닝으로 반복적 자기학습을 수행하여, 여러 도메인 적응 시나리오에서 최첨단 결과를 달성한다.

ABSTRACT

Current state-of-the-art object detectors can have significant performance drop when deployed in the wild due to domain gaps with training data. Unsupervised Domain Adaptation (UDA) is a promising approach to adapt models for new domains/environments without any expensive label cost. However, without ground truth labels, most prior works on UDA for object detection tasks can only perform coarse image-level and/or feature-level adaptation by using adversarial learning methods. In this work, we show that such adversarial-based methods can only reduce the domain style gap, but cannot address the domain content distribution gap that is shown to be important for object detectors. To overcome this limitation, we propose the Cross-Domain Semi-Supervised Learning (CDSSL) framework by leveraging high-quality pseudo labels to learn better representations from the target domain directly. To enable SSL for cross-domain object detection, we propose fine-grained domain transfer, progressive-confidence-based label sharpening and imbalanced sampling strategy to address two challenges: (i) non-identical distribution between source and target domain data, (ii) error amplification/accumulation due to noisy pseudo labeling on the target domain. Experiment results show that our proposed approach consistently achieves new state-of-the-art performance (2.2% - 9.5% better than prior best work on mAP) under various domain gap scenarios. The code will be released.

연구 동기 및 목표

• 타깃 라벨 없이 도메인 시프트 하에서도 강인한 객체 탐지를 촉진하기 위해 SSL에서 영감을 얻은 의사 라벨링을 활용한다.
• 거친 특징 정렬을 넘어 스타일과 콘텐츠 분포의 차이(객체 밀도, 맥락)를 모두 해결한다.
• 의사 라벨 품질을 높이기 위해 도메인 전이 + 반복적 자기 학습의 두 단계 프레임워크를 도입한다.
• CDSSL을 합성-실제, 크로스 카메라, 일반-안개 도메인 적응에서 평가하고 이전 SOTA와 비교한다.

제안 방법

• 대상 도메인의 스타일을 맞추면서 전경/콘텐츠를 보존하기 위해 수용 필드 제한을 갖춘 탐지 지향의 고해상도 CycleGAN을 사용하여 중간 도메인으로의 도메인 전이.
• 중간 도메인에서 초기 의사 라벨 주석자를 학습하여 대상 도메인에서 고품질 의사 라벨을 생성한다.
• 레이블링된 소스/중간 데이터와 의사 라벨이 부여된 대상 데이터를 결합하여 반복적 반지도 학습(Self-training)한다.
• 소스/중간 데이터를 과다 샘플링하고 대상 의사 라벨 데이터는 과소 샘플링하는 불균형 미니배치 샘플링으로 의사 라벨 오류 누적을 완화한다.
• 신뢰도 기반의 하드 라벨링을 적용하고 라운드가 진행될수록 신뢰도 임계치를 점진적으로 올려 잘못된 의사 라벨을 강화하는 것을 피한다.

실험 결과

연구 질문

• RQ1 도메인 스타일 이전이 분포 차이를 충분히 줄여 탐기를 위한 SSL 기반 자기 학습을 효과적으로 가능하게 하는가?
• RQ2 편향된(불균형) 샘플링과 점진적 라벨 샤프닝이 UDA에서 대상 도메인 탐지 성능을 향상시키는가?
• RQ3 CDSSL 구성 요소들(도메인 전이, 불균형 샘플링, 라벨 샤프닝)이 다양한 도메인 시프트에서 탐지 성능을 어떻게 개선하는가?

주요 결과

• CDSSL은 Sim2City, KITTI2City, City2Foggy 적응 벤치마크에서 이전 SOTA 대비 2.2%–9.5% mAP 차이로 지속적으로 우수한 성능을 보인다.
• 중간 도메인으로의 도메인 전이와 자기 학습을 순서대로 수행하는 것이 단독의 자기 학습이나 도메인 전이보다 더 큰 이익을 준다.
• 불균형 미니배치 샘플링과 점진적 신뢰도 기반 라벨링이 노이즈 의사 라벨로 인한 오류 누적을 완화하고 학습을 안정화시킨다.
• 세밀한, 탐지 지향적 도메인 전이가 거시적, 전역 변환보다 큰 이익을 준다.
• 다중 클래스 적응에서 CDSSL은 여러 클래스 간 도메인 격차를 줄이고 도메인 전이 후 초기 성능이 약한 클래스에 상당한 이득을 보인다.