[논문 리뷰] Unbiased Teacher for Semi-Supervised Object Detection

Yen‐Cheng Liu, Chih‐Yao Ma외 7명|arXiv (Cornell University)|2021. 02. 18.

Advanced Neural Network Applications참고 문헌 43인용 수 28

한 줄 요약

Unbiased Teacher는 반-감소 객체 탐지에서 교사와 학생을 함께 학습시키며, pseudo-label을 다듬기 위해 EMA를 사용하고 클래스 불균형을 해결하기 위해 focal loss를 적용하여 COCO와 VOC에서 저표본 설정에서도 최첨단 성능 향상을 얻는다.

ABSTRACT

Semi-supervised learning, i.e., training networks with both labeled and unlabeled data, has made significant progress recently. However, existing works have primarily focused on image classification tasks and neglected object detection which requires more annotation effort. In this work, we revisit the Semi-Supervised Object Detection (SS-OD) and identify the pseudo-labeling bias issue in SS-OD. To address this, we introduce Unbiased Teacher, a simple yet effective approach that jointly trains a student and a gradually progressing teacher in a mutually-beneficial manner. Together with a class-balance loss to downweight overly confident pseudo-labels, Unbiased Teacher consistently improved state-of-the-art methods by significant margins on COCO-standard, COCO-additional, and VOC datasets. Specifically, Unbiased Teacher achieves 6.8 absolute mAP improvements against state-of-the-art method when using 1% of labeled data on MS-COCO, achieves around 10 mAP improvements against the supervised baseline when using only 0.5, 1, 2% of labeled data on MS-COCO.

연구 동기 및 목표

• 반-감독 객체 탐지(SS-OD)에서 의사레이블링과 클래스 불균형의 도전 과제를 식별한다.
• 의사레이블 품질을 반복적으로 개선하는 교사-학생 프레임워크를 제안한다.
• EMA 기반 교사 정제와 focal loss가 COCO 및 VOC 데이터셋에서 SS-OD 성능을 개선함을 보인다.

제안 방법

• 레이블링된 데이터로 탐지기를 초기화하기 위한 Burn-In 도입.
• 교사가 학생을 위한 의사레이블을 생성하고 학생이 EMA를 통해 교사를 업데이트하는 교사-학생 상호 학습 루프를 사용한다.
• 의사레이블 편향을 완화하기 위해 ROI 분류에 대해 focal loss를 통한 클래스 균형 감독을 적용한다.
• 교사에는 약한 증강을, 학생에는 강한 증강을 사용하여 다양한 의사레이블을 유도한다.
• 의사레이블을 사용할 때 노이즈 레이블의 피드백을 방지하기 위해 교사 업데이트에서 학생을 분리한다.
• 교사를 학생 가중치의 EMA로 표현하여 안정된 시간적 앙상블을 형성한다.

실험 결과

연구 질문

• RQ1 공동으로 진화하는 교사-학생 프레임워크가 SS-OD에서 의사레이블 편향을 줄일 수 있는가?
• RQ2 EMA 기반 교사 정제가 학습 중 더 정확하고 안정적인 의사레이블을 생성하는가?
• RQ3 focal loss가 의사레이블의 클래스 불균형 효과 및 전체 탐지 성능에 어떤 영향을 미치는가?
• RQ4 증강 전략이 의사레이블 품질과 탐지 정확도에 미치는 영향은 무엇인가?

주요 결과

• Unbiased Teacher는 이전의 SS-OD 방법들보다 큰 절대 mAP 향상을 달성하며, 특히 라벨이 매우 제한적인 데이터에서 큰 성과를 보인다(예: COCO-standard의 1% 라벨링).
• EMA 기반 교사 정제와 focal loss가 함께 더 정확하고 균형 잡힌 의사레이블을 만들어 라벨 분포 불일치를 줄이고(KL 발산 감소) mAP를 향상시킨다.
• 이 방법은 COCO-standard, COCO-additional, VOC에서 다양한 라벨 데이터 설정에서 상당한 이득을 얻어 CSD 및 STAC 베이스라인을 능가한다.
• 고찰 연구는 EMA와 focal loss가 독립적으로도 그리고 함께 적용했을 때도 성능 향상과 더 균형 잡힌 의사레이블 분포에 기여함을 보인다.