[논문 리뷰] Mixed Pseudo Labels for Semi-Supervised Object Detection

Zeming Chen, Wenwei Zhang외 3명|arXiv (Cornell University)|2023. 12. 12.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 가짜 레이블의 오진 부정(가짜 레이블로 인한 오류 감지)을 줄이고 스케일 일반화 능력을 향상시키기 위해 Pseudo Mixup와 Pseudo Mosaic를 결합한 detector-agnostic 프레임워크인 Mixed Pseudo Labels (MixPL)을 제안한다. 또한 라벨된 데이터 재표본화를 통해 꼬리 카테고리 성능을 향상시킨다. MixPL은 추가적인 애너테이션 없이 COCO 벤치마크에서 Faster R-CNN, FCOS, DINO Swin-L의 mAP를 최대 2.5% 향상시키며 새로운 SOTA 성능을 달성한다.

ABSTRACT

While the pseudo-label method has demonstrated considerable success in semi-supervised object detection tasks, this paper uncovers notable limitations within this approach. Specifically, the pseudo-label method tends to amplify the inherent strengths of the detector while accentuating its weaknesses, which is manifested in the missed detection of pseudo-labels, particularly for small and tail category objects. To overcome these challenges, this paper proposes Mixed Pseudo Labels (MixPL), consisting of Mixup and Mosaic for pseudo-labeled data, to mitigate the negative impact of missed detections and balance the model's learning across different object scales. Additionally, the model's detection performance on tail categories is improved by resampling labeled data with relevant instances. Notably, MixPL consistently improves the performance of various detectors and obtains new state-of-the-art results with Faster R-CNN, FCOS, and DINO on COCO-Standard and COCO-Full benchmarks. Furthermore, MixPL also exhibits good scalability on large models, improving DINO Swin-L by 2.5% mAP and achieving nontrivial new records (60.2% mAP) on the COCO val2017 benchmark without extra annotations.

연구 동기 및 목표

• 반복적인 가짜 레이블링의 한계, 특히 소형 및 꼬리 카테고리 객체에 대한 오진 부정을 해결하기 위해.
• 가짜 레이블에 의해 증폭되는 검출기의 편향, 특히 스케일 및 카테고리 분포 불일치에 의한 부정적 영향을 줄이기 위해.
• 모델별 특화 수정 없이도 다양한 객체 검출기에서 성능을 향상시킬 수 있는 보편적이고 detector-agnostic인 방법을 개발하기 위해.
• 희귀 카테고리에 대한 재표본화를 통한 라벨된 데이터 재가중으로 학습 효율성과 일반화 능력을 향상시키기 위해.
• 추가 애너테이션이나 최소한의 감독만을 사용하여 표준 COCO 벤치마크에서 최신 기술 성능을 달성하기 위해.

제안 방법

• 가짜 레이블이 부여된 두 이미지를 픽셀 단위로 혼합하여, 빠진 검출에 대한 기울기 반응을 줄이고 일반화 능력을 향상시키는 데이터 증강 기법인 Pseudo Mixup를 제안한다.
• 네 개의 리샘플링된 가짜 레이블 이미지를 조합하여 새로운 학습 샘플을 생성하는 Pseudo Mosaic를 도입한다. 이는 소형 및 중형 객체의 레이블 수를 늘린다.
• Pseudo Mosaic에 대해 동적 해상도 전략을 적용하여 최적의 mAP를 확보하고 학습 비용을 줄이기 위해 400에서 800 사이의 이미지 크기를 사용한다.
• 희귀 카테고리를 과표본화하기 위해 거듭제곱 파라미터를 사용하는 클래스 균형 잡힌 재표본화를 통해 라벨된 데이터 재표본화를 수행한다. 이는 꼬리 카테고리 검출 성능 향상에 기여한다.
• 모든 검출기에서 일관된 평가가 가능하도록 검출기와 준지도 학습 과정을 분리하는 통합 학습 프레임워크인 DetMeanTeacher를 사용한다.
• Faster R-CNN, FCOS, DINO와 같은 표준 검출기와 MixPL을 통합하여, 아키텍처 간 광범위한 호환성과 일관된 성능 향상을 입증한다.

실험 결과

연구 질문

• RQ1 다양한 검출기에서 가짜 레이블이 진짜 레이블과 비교해 객체 수, 스케일 분포, 카테고리 빈도 측면에서 어떻게 다를 수 있는가?
• RQ2 Mixup와 Mosaic와 같은 데이터 증강 기법을 가짜 레이블 데이터에 적용하여 오진 부정 편향을 줄이고 소형 및 희귀 객체 검출을 향상시킬 수 있는가?
• RQ3 라벨된 데이터 재표본화가 머리 카테고리 검출 성능을 떨어뜨리지 않으면서 꼬리 카테고리 성능 향상에 얼마나 기여할 수 있는가?
• RQ4 제안된 MixPL 프레임워크는 두 단계 및 한 단계 검출기 모두 포함한 다양한 검출기 아키텍처에 일반화 가능한가?
• RQ5 추가 애너테이션이 없이도 MixPL이 COCO 벤치마크에서 최신 기술 성능을 달성할 수 있는가?

주요 결과

• MixPL은 COCO-Val2017에서 Faster R-CNN의 mAP를 2.5% 향상시켜 60.2% mAP를 달성하며, 준지도 객체 검출 분야에서 새로운 SOTA 성능을 수립한다.
• Pseudo Mixup만으로도 mAP가 34.7에서 35.7로 상승하고, Pseudo Mosaic를 추가로 적용하면 mAP가 37.2로 상승하여 스케일 증강된 가짜 레이블링의 효과를 입증한다.
• Pseudo Mixup와 Pseudo Mosaic의 조합는 mAP와 학습 비용 사이의 최적의 트레이드오���을 달성하며, 400–800 해상도 범위에서 최적의 성능을 낸다.
• power=1.0로 설정한 라벨 재표본화를 통해 Faster R-CNN에서 토스터 검출의 mAP가 0.4%에서 41.3%로, FCOS에서는 0.0%에서 57.7%로 향상되어 꼬리 카테고리에 대한 강력한 성과 향상을 보였다.
• Faster R-CNN, FCOS, DINO Swin-L을 포함한 모든 테스트된 검출기에서 일관되게 성능 향상을 보여, MixPL의 보편성과 detector-agnostic 성격을 입증한다.
• 라벨된 데이터가 10%일 때조차도 이전 방법보다 뛰어난 성능을 달성하여, 낮은 감독 환경에서도 확장성과 효율성을 입증한다.