[논문 리뷰] Proposal Learning for Semi-Supervised Object Detection

Peng Tang, Chetan Ramaiah외 3명|arXiv (Cornell University)|2020. 01. 15.

Advanced Neural Network Applications참고 문헌 61인용 수 11

한 줄 요약

이 논문은 라벨이 부여된 데이터와 라벨이 미부여된 데이터를 활용하는 새로운 제안 학습 방식을 통해 이단계 검출기의 준감독 학습 프레임워크를 제안한다. 자기지도 학습 모듈(제안 위치 손실 및 대비 손실 포함)과 일致성 기반 모듈(분류 및 회귀 예측의 안정성 강화)을 도입하여, 데이터 정제 기법과 결합할 경우 COCO에서 완전히 지도 학습 기반 모델 대비 평균 AP 2.0% 향상 달성.

ABSTRACT

In this paper, we focus on semi-supervised object detection to boost performance of proposal-based object detectors (a.k.a. two-stage object detectors) by training on both labeled and unlabeled data. However, it is non-trivial to train object detectors on unlabeled data due to the unavailability of ground truth labels. To address this problem, we present a proposal learning approach to learn proposal features and predictions from both labeled and unlabeled data. The approach consists of a self-supervised proposal learning module and a consistency-based proposal learning module. In the self-supervised proposal learning module, we present a proposal location loss and a contrastive loss to learn context-aware and noise-robust proposal features respectively. In the consistency-based proposal learning module, we apply consistency losses to both bounding box classification and regression predictions of proposals to learn noise-robust proposal features and predictions. Our approach enjoys the following benefits: 1) encouraging more context information to delivered in the proposals learning procedure; 2) noisy proposal features and enforcing consistency to allow noise-robust object detection; 3) building a general and high-performance semi-supervised object detection framework, which can be easily adapted to proposal-based object detectors with different backbone architectures. Experiments are conducted on the COCO dataset with all available labeled and unlabeled data. Results demonstrate that our approach consistently improves the performance of fully-supervised baselines. In particular, after combining with data distillation, our approach improves AP by about 2.0% and 0.9% on average compared to fully-supervised baselines and data distillation baselines respectively.

연구 동기 및 목표

• 라벨이 부여된 데이터와 라벨이 부여되지 않은 데이터를 활용해 이단계 객체 검출기 성능 향상.
• 지표가 없는 라벨이 없는 데이터로 객체 검출기를 훈련하는 데 도전하는 문제 해결.
• 라벨이 없는 샘플에 대해 라벨에 의존하지 않고 맥락 인식 및 노이즈에 강건한 제안 특징과 예측 학습.
• 다양한 백본 아키텍처와 호환 가능한 일반화 가능한 프레임워크 설계.
• 제안 학습과 데이터 정제 간의 상호보완적 상호작용을 탐색해 성능 향상 도모.

제안 방법

• 제안 위치 손실을 사용해 맥락 인식 특징 학습을 장려하는 자기지도 학습 제안 학습 모듈 도입.
• 노이즈가 가해진 제안 특징과 원본 제안 특징 간 대비 손실을 적용해 노이즈에 강건한 표현 학습, 노이즈는 훈련 효율성을 위해 특징에 직접 적용.
• 원본 및 노이즈가 가해진 특징 간 이중 일치성 손실을 적용한 일치성 기반 제안 학습 모듈 도입: 하나는 바운딩 박스 분류에 대해, 다른 하나는 회귀 예측에 대해.
• 원본 및 노이즈가 가해진 제안에 동일한 특징 추출기를 사용해 계산 공유 및 훈련 효율성 향상.
• 특징 피라미드 네트워크와 RoIAlign을 사용한 Faster R-CNN에 제안 학습 모듈 통합해 다양한 백본 아키텍처 지원.
• 제안 방법을 데이터 정제 및 빠른 스위치 무게 평균화(FSWA)와 융합해 성능 추가 향상 도모.

실험 결과

연구 질문

• RQ1 자기지도 학습이 준감독 객체 검출에서 제안 특징 학습 향상에 효과적으로 적용될 수 있는가?
• RQ2 노이즈가 가해진 제안 특징와 정제된 버전 간 예측의 일관성이 객체 검출의 강건성 향상에 기여하는 방식은 무엇인가?
• RQ3 라벨이 부여된 데이터와 라벨이 부여되지 않은 데이터를 모두 사용해 훈련할 경우 제안 학습이 이단계 검출기 성능 향상에 어느 정도 기여하는가?
• RQ4 제안된 방법은 기존의 데이터 정제 기법과 상호보완적인가?
• RQ5 이 프레임워크는 이단계 검출기의 다양한 백본 아키텍처에 일반화 가능한가?

주요 결과

• 데이터 정제와 결합했을 때, 제안된 방법은 COCO test-dev2017 세트에서 완전히 지도 학습 기반 모델 대비 평균 AP 2.0% 향상 달성.
• 단독으로 사용했을 경우에도 데이터 정제와 유사한 성능 확보하여 준감독 설정에서의 효과성 입증.
• 제안 학습과 데이터 정제의 조합은 ResNet-50에서 39.6% AP, ResNet-101에서 41.3% AP, ResNeXt-101-32×4d에서 42.8% AP, ResNeXt-101-32×4d+DCN에서 46.2% AP 기록.
• 데이터 정제 단독 대비 평균 0.9% AP 향상 기록하여 상호보완적 성과 확인.
• 빠른 스위치 무게 평균화(FSWA)는 제안된 방법에 대해 완전히 지도 학습 기반 모델보다 더 큰 성능 향상 기여, 이는 프레임워크와의 상호작용 강조.
• 제거 실험 결과, 자기지도 학습 및 일치성 기반 모듈 모두 성능 향상에 기여하며, 전체 방법이 제거된 변형들보다 뛰어난 성능 기록.