[논문 리뷰] Dense Learning based Semi-Supervised Object Detection

Binghui Chen, Pengyu Li외 4명|arXiv (Cornell University)|2022. 04. 15.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 밀도 높은 픽셀 단위의 가짜 레이블링과 적응형 필터링, 안정적인 예측을 위한 집합형 교사 모델, 다양한 척도와 셔플된 패치 간의 불확실성 일致성 정규화를 활용하는(anchor-free) 준지도 학습 객체 검출 방법인 DenSe 학습(DSL)을 제안한다. DSL은 MS-COCO 및 PASCAL-VOC에서 최신 기준 성능을 달성하며, 준지도 학습 설정에서 36.2 mAP를 기록한다.

ABSTRACT

Semi-supervised object detection (SSOD) aims to facilitate the training and deployment of object detectors with the help of a large amount of unlabeled data. Though various self-training based and consistency-regularization based SSOD methods have been proposed, most of them are anchor-based detectors, ignoring the fact that in many real-world applications anchor-free detectors are more demanded. In this paper, we intend to bridge this gap and propose a DenSe Learning (DSL) based anchor-free SSOD algorithm. Specifically, we achieve this goal by introducing several novel techniques, including an Adaptive Filtering strategy for assigning multi-level and accurate dense pixel-wise pseudo-labels, an Aggregated Teacher for producing stable and precise pseudo-labels, and an uncertainty-consistency-regularization term among scales and shuffled patches for improving the generalization capability of the detector. Extensive experiments are conducted on MS-COCO and PASCAL-VOC, and the results show that our proposed DSL method records new state-of-the-art SSOD performance, surpassing existing methods by a large margin. Codes can be found at extcolor{blue}{https://github.com/chenbinghui1/DSL}.

연구 동기 및 목표

• anchor-free 검출기의 효과적인 준지도 학습 객체 검출(SSOD) 방법이 부족한 문제를 해결하기 위해.
• 적응형 필터링을 통해 배경, 전경, 무시 영역을 명시적으로 다룸으로써 anchor-free 검출기에서의 밀도 높은 가짜 레이블 품질을 향상시키기 위해.
• 층별 및 지수이동평균(EMA) 파rameter 집합을 통합한 집합형 교사 모델을 통해 가짜 레이블의 안정성과 정확도를 향상시키기 위해.
• 다양한 이미지 척도와 셔플된 패치 간의 불확실성 일치 정규화를 통해 모델 일반화 능력을 향상시키기 위해.
• MS-COCO 및 PASCAL-VOC와 같은 표준 벤치마크에서 anchor-free SSOD의 새로운 최신 기준 기준선을 설정하기 위해.

제안 방법

• 적응형 필터링(AF)은 다수준 임계값을 사용하여 밀도 높은 가짜 레이블을 배경, 전경, 무시 영역으로 세 부분으로 분할하며, 클래스별 적응형 임계값을 통해 정확도를 향상시킨다.
• 메타넷은 높은 점수를 기록하지만 잘못된 예측을 걸러내어 가짜 레이블의 전경 예측을 정밀하게 개선한다.
• 집합형 교사(AT)는 층별 특징 집합(LA)과 EMA를 결합하여 학습 반복 동안 가짜 레이블의 품질을 안정화하고 향상시킨다.
• 다양한 이미지 척도와 셔플된 패치 간의 불확실성 일치 정규화를 적용하여 특징 불확실성의 일관성을 강제함으로써 정확도와 내성 향상을 도모한다.
• 손실 함수는 라벨이 부여된 데이터에 대한 지도 학습 손실과 가중치가 부여된 비라벨 데이터에 대한 일致성 손실을 조합하며, 초수치 α는 비라벨 데이터의 영향력을 조절한다.
• 이 방법은 FCOS를 anchor-free 기반 모델로 활용하여 픽셀 단위의 감독을 가능하게 한다.

실험 결과

연구 질문

• RQ1 밀도 높은 anchor-free 객체 검출이 고품질의 가짜 레이블링을 통해 준지도 학습에 효과적으로 적용될 수 있는가?
• RQ2 배경/전경/무시 영역으로 나누는 다수준 세밀한 가짜 레이블링이 anchor-free SSOD에서 성능 향상에 기여하는가?
• RQ3 EMA와 층별 집합을 통합한 집합형 교사 모델이 가짜 레이블의 안정성과 정확도에 미치는 영향은 무엇인가?
• RQ4 다양한 척도와 셔플된 패치 간의 불확실성 일치 정규화가 anchor-free SSOD의 일반화 능력 향상에 얼마나 기여하는가?
• RQ5 제안된 DSL 방법이 준지도 학습 설정에서 MS-COCO 및 PASCAL-VOC와 같은 표준 벤치마크에서 최신 기준 성능을 달성하는가?

주요 결과

• 제안된 DSL 방법은 준지도 학습 설정에서 MS-COCO에서 36.2 mAP를 달성하며, 기존 최신 기준 방법들을 크게 앞서간다.
• 제거 실험 결과 각 구성 요소(AF, 메타넷, AT, 패치 셔플/일치성)가 성능 향상에 점진적으로 기여하며, 전체 모델은 36.2 mAP에 도달한다.
• 클래스별 임계값을 사용한 적응형 필터링은 기준 모델의 23.7 mAP에서 32.2 mAP로 향상시키며, 세밀한 가짜 레이블링의 효과를 입증한다.
• EMA와 층 집합을 모두 활용한 집합형 교사(AT)는 EMA 전용(34.1 mAP) 및 LA 전용(35.0 mAP)을 뛰어넘어 36.2 mAP를 기록하며 상호 보완성을 입증한다.
• 비라벨 데이터의 최적 손실 가중치 α는 3이다. 이보다 높은 값(예: 4)은 학습 불안정성과 손실 발산을 유도한다.
• 이 방법은 anchor-free SSOD의 새로운 최신 기준을 설정하였으며, COCO와 VOC에서 강력한 실험 결과를 바탕으로 이 분야에서 첫 성공적인 尝시이다.