[논문 리뷰] Rethinking Pseudo Labels for Semi-Supervised Object Detection

Hengduo Li, Zuxuan Wu외 2명|arXiv (Cornell University)|2021. 06. 01.

Advanced Image and Video Retrieval Techniques인용 수 6

한 줄 요약

이 논문은 준지도 학습 객체 검출을 위한 확신 인식 테이터 레이블을 제안하며, 국소화 정밀도를 향상시키고 클래스 불균형을 완화하기 위해 국소화를 분류 작업으로 공식화하여 신뢰도 점수를 추정한다. 이러한 점수를 바탕으로 동적으로 임계값을 조정하고 손실 함수를 재가중함으로써, COCO와 PASCAL VOC에서 각각 1–2%의 AP 향상을 달성하였으며, 레이블이 1–10%인 경우에만 사용하여 지도 학습 기반 모델의 성능을 최대 10% 향상시켰다.

ABSTRACT

Recent advances in semi-supervised object detection (SSOD) are largely driven by consistency-based pseudo-labeling methods for image classification tasks, producing pseudo labels as supervisory signals. However, when using pseudo labels, there is a lack of consideration in localization precision and amplified class imbalance, both of which are critical for detection tasks. In this paper, we introduce certainty-aware pseudo labels tailored for object detection, which can effectively estimate the classification and localization quality of derived pseudo labels. This is achieved by converting conventional localization as a classification task followed by refinement. Conditioned on classification and localization quality scores, we dynamically adjust the thresholds used to generate pseudo labels and reweight loss functions for each category to alleviate the class imbalance problem. Extensive experiments demonstrate that our method improves state-of-the-art SSOD performance by 1-2% AP on COCO and PASCAL VOC while being orthogonal and complementary to most existing methods. In the limited-annotation regime, our approach improves supervised baselines by up to 10% AP using only 1-10% labeled data from COCO.

연구 동기 및 목표

• 준지도 학습 객체 검출(SSOD)에서 테이터 레이블의 국소화 신뢰도 부족 문제를 해결하여 검출 성능 향상을 도모한다.
• 장수 분포 데이터로 인한 클래스 불균형 문제를 완화한다. 이는 저조도 클래스가 높은 신뢰도 임계값으로 인해 필터링되는 현상 때문이다.
• 분류 및 국소화 신뢰도를 동시에 추정함으로써 테이처 모델에서 스타디 모델로의 신뢰할 수 있는 디스틸레이션을 가능하게 하기 위해 테이터 레이블 품질을 향상시킨다.
• 기존 SSOD 기법들과 수직적이고 상호보완적인 방법을 개발하여 아키텍처의 대대적 개편 없이 최신 기술 수준의 성능을 향상시킨다.

제안 방법

• 각 박스의 한 변을 K개의 간격으로 나누어, 각 간격에 대해 교차 가능성 정도를 나타내는 예측 점수를 부여함으로써 국소화를 분류 문제로 공식화한다.
• 모든 네 개의 박스 변에 대해 최대 분류 점수의 평균을 계산하여 국소화 품질 점수를 도출함으로써, 국소화 신뢰도를 위한 미분 가능한 지표를 제공한다.
• 국소화 품질 점수와 분류 점수를 함께 사용하여 확신 인식 테이터 레이블을 생성함으로써, 검출 정확도와 국소화 정밀도를 모두 반영한다.
• 결합된 확신 점수를 기반으로 카테고리별로 동적으로 임계값을 설정하여 테이터 레이블 생성의 신뢰도를 향상시킨다.
• 확신 점수를 사용하여 카테고리별로 손실 함수를 재가중함으로써 클래스 불균형 문제를 완화하고, 저조도 클래스에 더 높은 가중치를 부여한다.
• 데이터 증강과 함께 테이처-스터디 프레임워크에 통합하여, 적응적 감독을 통해 개선된 테이터 레이블에서 학습하는 학생 모델을 구현한다.

실험 결과

연구 질문

• RQ1 어떻게 국소화 신뢰도를 효과적으로 추정할 수 있을까? 이는 테이터 레이블 품질 향상에 기여한다.
• RQ2 확신 점수 기반의 동적 임계값 설정이 준지도 학습 객체 검출에서 테이터 레이블 신뢰도 향상에 얼마나 기여하는가?
• RQ3 카테고리별 확신 점수를 사용해 손실 함수를 재가중시키는 것이 SSOD에서 장수 분포 클래스 분포의 영향을 줄일 수 있는가?
• RQ4 낮은 레이블 비율 환경에서 최신 기술 수준의 SSOD 기법들과 비교해 본다면, 제안된 방법의 정확도와 일반화 능력은 어떠한가?

주요 결과

• 표준 학습 스케줄 하에서 COCO와 PASCAL VOC에서 최신 기술 수준의 SSOD 기법보다 1–2%의 절대 AP 향상을 달성한다.
• COCO에서 1–10% 레이블 데이터 비율 환경에서, 제안된 방법은 지도 학습 기반 모델의 성능을 최대 10% 향상시키며, 최소한의 레이블로도 강력한 일반화 능력을 보여준다.
• 동적 임계값 설정과 카테고리별 손실 재가중 메커니즘은 장수 분포 클래스 분포가 모델 수렴에 악영향을 미치는 것을 크게 줄인다.
• 국소화를 분류 문제로 공식화한 방식은 국소화 품질에 대한 신뢰할 수 있는, 미분 가능한 지표를 제공하여 저신뢰도 테이터 박스의 효과적인 필터링을 가능하게 한다.
• 이 방법은 기존 SSOD 기법들과 수직적이며, Unbiased Teacher와 Instant-Teaching와 같은 최신 기반 모델과 결합했을 때 일관된 성능 향상을 보였다.
• 광범위한 추상화 분석을 통해, 확신 인식 테이터 레이블링과 동적 임계값 설정 전략이 성능 향상에 필수적임을 확인하였다.