[논문 리뷰] Learning Domain Adaptive Object Detection with Probabilistic Teacher

Meilin Chen, Weijie Chen외 9명|arXiv (Cornell University)|2022. 06. 13.

Domain Adaptation and Few-Shot Learning인용 수 33

한 줄 요약

PT는 임계값 없이 불확실성 기반의 자기지도(self-training) 프레임워크를 통해 비지도 도메인 적응 객체 탐지(unsupervised domain adaptive object detection)를 수행한다. 확률적 Faster-RCNN과 진화하는 확률적 교사를 사용하여 분류, 위치 추정(로컬라이제이션), 앵커를 함께 적응시키고, 저 엔트로피의 의사 박스에 초점을 맞추는 엔트로피 포컬 로스(Entropy Focal Loss)를 통해 최저 엔트로피의 의사 박스를 강조하며 최첨단(SOTA) 결과를 달성한다.

ABSTRACT

Self-training for unsupervised domain adaptive object detection is a challenging task, of which the performance depends heavily on the quality of pseudo boxes. Despite the promising results, prior works have largely overlooked the uncertainty of pseudo boxes during self-training. In this paper, we present a simple yet effective framework, termed as Probabilistic Teacher (PT), which aims to capture the uncertainty of unlabeled target data from a gradually evolving teacher and guides the learning of a student in a mutually beneficial manner. Specifically, we propose to leverage the uncertainty-guided consistency training to promote classification adaptation and localization adaptation, rather than filtering pseudo boxes via an elaborate confidence threshold. In addition, we conduct anchor adaptation in parallel with localization adaptation, since anchor can be regarded as a learnable parameter. Together with this framework, we also present a novel Entropy Focal Loss (EFL) to further facilitate the uncertainty-guided self-training. Equipped with EFL, PT outperforms all previous baselines by a large margin and achieve new state-of-the-arts.

연구 동기 및 목표

• 날씨, 규모, 카메라, 합성-실제 간 도메인 변화하에서 물체 탐지를 위한 견고한 비지도 도메인 적응을 촉진한다.
• 의사 박스의 불확실성을 분류와 위치 추정 모두에 활용하는 임계값 없는 자기지도 프레임워크를 개발한다.
• 확률적 검출기 아키텍처에서 분류, 위치 추정 및 앵커 적응을 통합한다.
• 확신 임계값 없이 의사 레이블의 품질을 향상시키기 위한 학습 전략(Entropy Focal Loss, sharpening, EMA 교사 업데이트)을 제안한다.]
• method:[
• Faster-RCNN을 확률적 Faster-RCNN으로 변환하여 각 바운딩 박스 좌표를 가우시안 분포로 모델링하고 각 카테고리를 확률 분포로 표현한다.
• 라벨이 없는 타깃 데이터로부터 불확실성 가치를 갖는 의사 박스를 생성하기 위해 확률적 교사를 사용한다.
• 분류와 회귀 모두에 대해 RPN과 ROI 헤드 전반에 걸친 불확실성 기반 일관성 손실로 학생 모델을 학습한다.
• 타깃 바운딩 박스 분포에 맞춰 앵커 모양을 조정하기 위해 EMA를 통한 앵커 적응을 도입한다.
• 분류와 위치 추정 모두에서 저 엔트로피(잡음이 적은) 의사 박스를 강조하기 위해 Entropy Focal Loss를 도입한다.

제안 방법

• Convert Faster-RCNN into a Probabilistic Faster-RCNN where each bbox coordinate is modeled as a Gaussian distribution and each category as a probability distribution.
• Use a probabilistic teacher to generate uncertainty-bearing pseudo boxes from unlabeled target data.
• Train a student with uncertainty-guided consistency losses across RPN and ROI heads for both classification and regression.
• Incorporate anchor adaptation via EMA to adjust anchor shapes to target bbox distributions.
• Introduce Entropy Focal Loss to emphasize low-entropy (less noisy) pseudo boxes in both classification and localization.

실험 결과

연구 질문

• RQ1 의사 박스의 불확실성을 활용하여 신뢰도 임계값 없이 UDA-OD를 개선하려면 어떻게 할 수 있는가?
• RQ2 확률적 교사-학생 프레임워크가 분류, 위치 추정 및 앵커를 도메인 간에 함께 적응시킬 수 있는가?
• RQ3 엔트로피 가이드 자기지도 학습(EFL)이 교차 도메인 탐지 성능을 더 향상시키는가?
• RQ4 UDA-OD를 위한 자기지도 학습을 강화하는 강력한 데이터 증강 및 도메인 내 정렬의 역할은 무엇인가?
• RQ5 소스 없는(source-free) UDA-OD 설정으로의 확장은 어떻게 이루어지는가?

주요 결과

• 확률적 교사 프레임워크는 다수의 소스 기반 및 소스 없는 UDA-OD 벤치마크에서 최첨단 결과를 달성한다.
• 앵커 적응과 Entropy Focal Loss가 서로 다른 도메인 이동에서 성능 향상에 기여한다.
• 강력한 데이터 증강은 자기지도 학습을 크게 향상시키며, 전통적 도메인 정렬 방법보다 더 큰 효과를 보인다.
• PT를 소스 없는 설정으로 확장하면 기준선보다 상당한 개선이 나타난다.
• 확률적 디텍터를 사용하면 일반 Faster-RCNN 기준선에 비해 위치 추정 불확실성 처리에 향상된다.