[논문 리뷰] PseCo: Pseudo Labeling and Consistency Training for Semi-Supervised Object Detection

Gang Li, Xiang Li외 4명|arXiv (Cornell University)|2022. 03. 30.

Advanced Neural Network Applications인용 수 7

한 줄 요약

PseCo는 검출 특화 과제인 노이즈 있는 위치 지정 및 척도 민감성 문제를 해결함으로써 희미한 레이블링과 일致성 훈련을 향상시키는 준지도 학습 객체 검출 프레임워크를 제안한다. 노이즈 있는 희미한 박스에 대한 강건한 훈련을 위해 예측 유도 레이블 할당과 양성 제안 일致성 투표를 포함하는 노이즈 있는 희미한 박스 학습(NPL)을 도입하고, 척도에 강인한 일치를 확보하기 위해 레이블 수준과 특징 수준의 일치를 통합하는 다중 시야 척도 불변 학습(MSL)을 제안한다. COCO에서 PseCo는 각각 1%, 5%, 10% 레이블 비율일 때 Soft Teacher 대비 2.0, 1.8, 2.0 mAP 향상을 기록하며, 훈련 시간을 절반으로 줄였다.

ABSTRACT

In this paper, we delve into two key techniques in Semi-Supervised Object Detection (SSOD), namely pseudo labeling and consistency training. We observe that these two techniques currently neglect some important properties of object detection, hindering efficient learning on unlabeled data. Specifically, for pseudo labeling, existing works only focus on the classification score yet fail to guarantee the localization precision of pseudo boxes; For consistency training, the widely adopted random-resize training only considers the label-level consistency but misses the feature-level one, which also plays an important role in ensuring the scale invariance. To address the problems incurred by noisy pseudo boxes, we design Noisy Pseudo box Learning (NPL) that includes Prediction-guided Label Assignment (PLA) and Positive-proposal Consistency Voting (PCV). PLA relies on model predictions to assign labels and makes it robust to even coarse pseudo boxes; while PCV leverages the regression consistency of positive proposals to reflect the localization quality of pseudo boxes. Furthermore, in consistency training, we propose Multi-view Scale-invariant Learning (MSL) that includes mechanisms of both label- and feature-level consistency, where feature consistency is achieved by aligning shifted feature pyramids between two images with identical content but varied scales. On COCO benchmark, our method, termed PSEudo labeling and COnsistency training (PseCo), outperforms the SOTA (Soft Teacher) by 2.0, 1.8, 2.0 points under 1%, 5%, and 10% labelling ratios, respectively. It also significantly improves the learning efficiency for SSOD, e.g., PseCo halves the training time of the SOTA approach but achieves even better performance. Code is available at https://github.com/ligang-cs/PseCo.

연구 동기 및 목표

• 기존 준지도 학습 객체 검출(SSOD) 방법이 객체 검출의 핵심 특성인 위치 정밀도와 척도 불변성 등을 간과하는 한계를 해결하기 위해.
• 노이즈가 많고 정확도가 떨어지는 희미한 박스에 영향을 받는 레이블 할당을 강건하게 만들기 위해 희미한 레이블링을 향상시키기 위해.
• 척도에 강인한 특성을 확보하기 위해 레이블 수준 일치 외에도 특징 수준 일치를 통합함으로써 일치 훈련을 향상시키기 위해.
• 성능을 훼손하지 않고 훈련 효율성을 크게 향상시켜 최신 기술(SOTA) 대비 훈련 시간을 절반으로 줄이기 위해.
• 검출 특화 인식 편향을 준지도 학습에 통합하는 통합 프레임워크를 제공하기 위해.

제안 방법

• 예측 기반 레이블 할당(PLA)을 포함하는 노이즈 있는 희미한 박스 학습(NPL)을 도입하여, IoU 기반 할당이 아닌 모델 예측에 기반한 레이블 할당을 통해 위치 오차에 강건한 성능 향상을 이룬다.
• 추가 프로세스 없이도 정규화된 회귀 일치를 양성 제안에 대해 평가함으로써 희미한 박스의 위치 정확도를 측정하는 양성 제안 일치 투표(PCV)를 제안한다.
• 다중 시야 척도 불변 학습(MSL)을 개발하여, 랜덤 스케일 데이터 증강을 통한 레이블 수준 일치와 다중 척도 시야 간 이동된 특징 피라미드 간 정렬을 통한 특징 수준 일치를 동시에 강화한다.
• 교사-학생 프레임워크를 사용하여 교사 모델이 희미한 레이블을 생성하고 학생을 이끌며, MSL을 훈련 중에 적용하여 척도 변화에 따른 학습 안정성을 확보한다.
• 클래스 불균형 문제를 해결하기 위해 Focal Loss를 적용하여 어려운 음성 샘플의 성능 향상을 도모한다.
• NPL과 MSL을 통합한 훈련 파이프라인을 설계하여, 최소한의 하이퍼파rameter 튜닝으로도 비라벨 데이터에 대해 효율적이고 정확한 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 준지도 학습 객체 검출에서 노이즈가 많고 정확도가 떨어지는 희미한 박스에 대해 레이블 할당을 어떻게 강건하게 만들 수 있는가?
• RQ2 IoU 임계치에 의존하지 않고도 희미한 박스의 위치 정확도를 효과적으로 측정하고 활용할 수 있는 메커니즘은 무엇인가?
• RQ3 레이블 수준 일치 외에도 특징 수준의 불변성을 포함함으로써 일치 훈련을 어떻게 향상시킬 수 있는가? 특히 척도 강인성을 향상시키기 위해.
• RQ4 레이블 수준과 특징 수준의 일致 학습을 동시에 적용하면 정확도와 훈련 효율성 측면에서 상당한 향상이 이루어지는가?
• RQ5 검출 인식 기반 준지도 학습 프레임워크는 mAP와 훈련 속도 측면에서 기존 방법 대비 얼마나 뛰어난 성능을 보일 수 있는가?

주요 결과

• PseCo는 10% 레이블 데이터로 COCO에서 36.3 mAP를 기록하며, 동일 조건에서 Soft Teacher를 2.0 mAP 초월한다.
• 1% 레이블 데이터일 때 PseCo는 Soft Teacher 대비 mAP를 2.0 포인트 향상시켜 높은 데이터 효율성을 입증한다.
• PseCo는 성능을 높이면서도 Soft Teacher 대비 훈련 시간을 50% 단축시켜 뚜렷한 효율성 향상을 보였다.
• 양성 제안 일치 투표(PCV)는 reg 일치 및 box jittering 대비 AP 75에서 각각 0.9%, 0.5% 높은 성능을 기록했으며, 추가 하이퍼파rameter 없이도 성능 향상을 이룬다.
• MSL에서 특징 수준 일치는 레이블 수준 일치만을 적용한 경우 대비 +1.0 mAP 향상을 기록하여 특징 정렬의 중요성을 입증한다.
• Focal Loss는 Cross-Entropy Loss 대비 mAP를 0.6 포인트 향상시켜 성능 향상에 기여한다.