[논문 리뷰] S4OD: Semi-Supervised learning for Single-Stage Object Detection

Yueming Zhang, Xingxu Yao외 8명|arXiv (Cornell University)|2022. 04. 09.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

이 논문은 단일 단계 객체 검출기에서 발생하는 심각한 전경-배경 클래스 불균형 문제를 해결하기 위해, 의사 레이블 선택을 위한 동적 자기적응 임계값(DSAT)과 회귀 불확실성 평가를 위한 NMS-UNC 모듈을 도입한 반감독 학습 프레임워크인 S4OD를 제안한다. 레이블이 부여된 COCO 데이터의 10%만을 사용하여 S4OD는 FCOS에서 35.0% AP, RetinaNet에서 32.9% AP를 기록하며 최신 기준 성능을 달성한다.

ABSTRACT

Single-stage detectors suffer from extreme foreground-background class imbalance, while two-stage detectors do not. Therefore, in semi-supervised object detection, two-stage detectors can deliver remarkable performance by only selecting high-quality pseudo labels based on classification scores. However, directly applying this strategy to single-stage detectors would aggravate the class imbalance with fewer positive samples. Thus, single-stage detectors have to consider both quality and quantity of pseudo labels simultaneously. In this paper, we design a dynamic self-adaptive threshold (DSAT) strategy in classification branch, which can automatically select pseudo labels to achieve an optimal trade-off between quality and quantity. Besides, to assess the regression quality of pseudo labels in single-stage detectors, we propose a module to compute the regression uncertainty of boxes based on Non-Maximum Suppression. By leveraging only 10% labeled data from COCO, our method achieves 35.0% AP on anchor-free detector (FCOS) and 32.9% on anchor-based detector (RetinaNet).

연구 동기 및 목표

• 반감독 학습 중 단일 단계 검출기에서 발생하는 심각한 전경-배경 클래스 불균형 문제를 해결하기 위해.
• 수동으로 하이퍼파라미터를 조정하지 않고도 높은 품질과 충분한 수의 의사 레이블을 선택할 수 있는 동적이고 적응형 전략을 개발하기 위해.
• 의사 레이블 필터링을 위한 단일 단계 검출기에서 회귀 품질을 신뢰할 수 있게 평가할 수 있도록 하기 위해.
• 최소한의 레이블 데이터로 반감독 단일 단계 객체 검출에서 최고 성능을 달성하기 위해.

제안 방법

• 모델 성능에 따라 의사 레이블 선택을 위한 분류 점수 임계값을 자동으로 조정하는 동적 자기적응 임계값(DSAT)을 제안하며, 품질과 수량 사이의 균형을 맞춘다.
• 비최대 억제(NMS)에서 중복 상자들의 표준편차를 측정하여 회귀 불확실성을 계산하는 NMS-UNC 모듈을 도입한다.
• NMS-UNC에서 도출된 불확실성 점수를 활용해 저품질의 회귀 의사 레이블을 필터링함으로써 학습 안정성을 향상시킨다.
• 레이블이 부여된 데이터와 레이블이 미리 부여된 데이터를 모두 활용하는 반감독 학습 파이프라인에 DSAT과 NMS-UNC를 통합한다.
• 두 단계 학습 프로세스를 사용한다: 첫 번째 단계에서 태치 모델이 의사 레이블을 생성하고, 두 번째 단계에서 학생 모델이 레이블이 부여된 데이터와 필터링된 의사 레이블을 함께 학습한다.
• DSAT에서 F1-스코어 기반 동적 임계값 조정을 통해 학습 중 정밀도와 재현율의 조화평균에 기반해 의사 레이블을 적응적으로 선택한다.

실험 결과

연구 질문

• RQ1 반감독 단일 단계 객체 검출에서 의사 레이블의 품질과 수량 사이의 트레이드오���을 어떻게 균형 잡을 수 있는가?
• RQ2 고정 임계값에 비해 동적이고 자기적응형 임계값 전략이 의사 레이블 선택에서 더 나은 성능을 낼 수 있는가?
• RQ3 단일 단계 검출기에서 의사 레이블 필터링을 위해 회귀 불확실성을 효과적으로 측정하고 활용할 수 있는가?
• RQ4 제안된 방법은 COCO에서 레이블이 10%인 데이터로도 최고 성능을 달성할 수 있는가?

주요 결과

• S4OD는 레이블이 부여된 COCO 데이터의 10%만을 사용하여 앵커리스인 FCOS에서 35.0% AP, 앵커베이스인 RetinaNet에서 32.9% AP를 기록한다.
• DSAT 전략은 최적의 고정 임계값(0.9)보다 +1.8% AP 높은 성능을 기록하여, 적응형 임계값 선택에서의 우수성을 입증한다.
• NMS-UNC의 최적 불확실성 임계값은 0.08로 확인되었으며, 이는 31.3의 최고 AP를 기록했고, AP@0.5는 49.1, AP@0.75는 33.0이었다.
• NMS-UNC의 최적 점수 임계값은 0.4로 확인되었으며, 이는 계산 효율성과 성능를 균형 잡는 데 최적이다. 0.3과 0.5와 같은 낮거나 높은 임계값보다 우수한 성능을 보였다.
• DSAT과 NMS-UNC를 모두 추가했을 때 학습 시간 증가는 오직 5.55%에 불과하여 실세계 적용에 실용적이다.
• DSAT 및 NMS-UNC 모듈은 모델에 종속되지 않으며, 아키텍처 수정 없이 다양한 단일 단계 검출기에 적용 가능하다.