[논문 리뷰] Cross-Domain Adaptive Teacher for Object Detection

Yu-Jhe Li, Xiaoliang Dai외 7명|arXiv (Cornell University)|2021. 11. 25.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 도메인 간 객체 검출을 위한 새로운 교사-학생 프레임워크인 Adaptive Teacher(AT)를 제안한다. AT는 도메인 적대적 학습과 약한-강한 데이터 증강을 통해 도메인 이동 문제를 완화한다. 타겟 도메인에 특화된 교사 모델과 도메인 간 학습을 위한 학생 모델을 사용하여 적대적 특징 정렬과 상호 학습을 수행함으로써, 안개진 도시스케이프에서 50.9% mAP를 달성하며, 기존 SOTA 방법과 완전 지도 학습 기반 오라클 모델보다 각각 9.2%와 8.2% 높은 성능을 기록한다.

ABSTRACT

We address the task of domain adaptation in object detection, where there is a domain gap between a domain with annotations (source) and a domain of interest without annotations (target). As an effective semi-supervised learning method, the teacher-student framework (a student model is supervised by the pseudo labels from a teacher model) has also yielded a large accuracy gain in cross-domain object detection. However, it suffers from the domain shift and generates many low-quality pseudo labels ( extit{e.g.,} false positives), which leads to sub-optimal performance. To mitigate this problem, we propose a teacher-student framework named Adaptive Teacher (AT) which leverages domain adversarial learning and weak-strong data augmentation to address the domain gap. Specifically, we employ feature-level adversarial training in the student model, allowing features derived from the source and target domains to share similar distributions. This process ensures the student model produces domain-invariant features. Furthermore, we apply weak-strong augmentation and mutual learning between the teacher model (taking data from the target domain) and the student model (taking data from both domains). This enables the teacher model to learn the knowledge from the student model without being biased to the source domain. We show that AT demonstrates superiority over existing approaches and even Oracle (fully-supervised) models by a large margin. For example, we achieve 50.9% (49.3%) mAP on Foggy Cityscape (Clipart1K), which is 9.2% (5.2%) and 8.2% (11.0%) higher than previous state-of-the-art and Oracle, respectively.

연구 동기 및 목표

• 원천 도메인에서 학습된 교사 모델이 타겟 도메인에서 낮은 품질의 가짜 레이블을 생성하는 도메인 이동 문제를 해결하기 위해.
• 도메인 갭으로 인한 오진 양을 줄임으로써 반지도 학습 도메인 적응에서 가짜 레이블 품질을 향상시키기 위해.
• 학습 중 타겟 도메인 이미지를 필요로 하지 않고도 새로운 도메인에 잘 일반화되는 자기학습 프레임워크를 개발하기 위해.
• 기존 SOTA 방법과 심지어 완전 지도 학습 기반 오라클 모델을 초월하는 성능을 도메인 간 검출 벤치마크에서 달성하기 위해.

제안 방법

• 도메인 편향과 지식 전이를 분리하기 위해 타겟 도메인에 특화된 교사 모델과 도메인 간 학습을 위한 학생 모델을 갖춘 이중 모델 아키텍처를 도입한다.
• 기울기 반전 레이어를 사용하여 학생 모델에서 원천 도메인과 타겟 도메인 간 특징 분포를 정렬하기 위해 도메인 적대적 학습을 적용한다.
• 교사 모델은 약한 증강을, 학생 모델은 강한 증강을 사용함으로써 가짜 레이블의 안정성을 높이는 약한-강한 데이터 증강을 적용한다.
• 교사 모델이 타겟 도메인 데이터에서 가짜 레이블을 생성하여 학생 모델을 이끄는 상호 학습을 교사-학생 모델 간에 실시한다.
• 학습된 학생 모델 내에 판별기(discriminator)를 활용하여 도메인 갭을 최소화하는 적대적 손실을 통해 도메인 불변 표현을 촉진한다.
• 교사 모델의 파라미터 갱신을 위해 지수 이동 평균(EMA)을 활용하여 학습 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 원천 도메인과 큰 도메인 갭을 가진 타겟 도메인에서 교사-학생 프레임워크가 높은 품질의 가짜 레이블을 생성할 수 있는가?
• RQ2 도메인 적대적 학습은 도메인 간 객체 검출에서 가짜 레이블 품질과 모델 일반화 능력에 어떤 영향을 미치는가?
• RQ3 약한-강한 데이터 증강은 도메인 적응에서 가짜 레이블 안정성과 검출 정확도 향상에 어느 정도 기여하는가?
• RQ4 타겟 도메인 레이블 없이 학습된 자기학습 프레임워크가 새로운 타겟 도메인에서 완전 지도 학습 기반 오라클 모델을 초월할 수 있는가?

주요 결과

• Adaptive Teacher는 안개진 도시스케이프에서 50.9% mAP를 달성하였으며, 이는 이전 SOTA보다 9.2% 높고 오라클 모델보다 8.2% 높은 성능이다.
• Clipart1K에서 AT는 49.3% mAP를 기록하여 SOTA보다 5.2% 높고 오라클보다 11.0% 높았다.
• 절단 실험 결과, 적대적 손실을 제거할 경우 Clipart1K에서 성능이 8.7% 감소하여, 이는 오진을 줄이는 데 핵심적인 역할을 함을 시사한다.
• 약한-강한 증강을 생략할 경우 성능이 4–5% 감소하여, 이는 가짜 레이블 안정성 향상에 있어 그 중요성을 입증한다.
• 모델는 새로운 도메인으로의 일반화 능력이 뛰어나, 도메인 일반화 실험에서 MT 및 오라클 모델을 모두 초월하였다.
• 적대적 학습과 약한-강한 증강의 조합으로 인해 가짜 레이블의 오진 비율이 최대 35% 감소하였다.