[논문 리뷰] Semi-supervised Object Detection: A Survey on Recent Research and Progress

Yanyang Wang, Zhaoxiang Liu외 1명|arXiv (Cornell University)|2023. 06. 25.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 종합적 서베이는 준감독 객체 검출(SSOD) 방법에 대한 포괄적인 개요를 제공하며, 가짜 레이블링, 일致성 정규화, 그래프 기반, 전이 학습 전략으로 분류한다. MS-COCO와 PASCAL-VOC에서 최신 기술 성능을 강조하며, Dense Teacher와 Label Match와 같은 방법들이 저레이블 환경에서 AP50:95 점수 37% 이상, 56.8%를 기록했다.

ABSTRACT

In recent years, deep learning technology has been maturely applied in the field of object detection, and most algorithms tend to be supervised learning. However, a large amount of labeled data requires high costs of human resources, which brings about low efficiency and limitations. Semi-supervised object detection (SSOD) has been paid more and more attentions due to its high research value and practicability. It is designed to learn information by using small amounts of labeled data and large amounts of unlabeled data. In this paper, we present a comprehensive and up-to-date survey on the SSOD approaches from five aspects. We first briefly introduce several ways of data augmentation. Then, we dive the mainstream semi-supervised strategies into pseudo labels, consistent regularization, graph based and transfer learning based methods, and introduce some methods in challenging settings. We further present widely-used loss functions, and then we outline the common benchmark datasets and compare the accuracy among different representative approaches. Finally, we conclude this paper and present some promising research directions for the future. Our survey aims to provide researchers and practitioners new to the field as well as more advanced readers with a solid understanding of the main approaches developed over the past few years.

연구 동기 및 목표

• 대규모 데이터셋의 레이블링 비용이 높기 때문에 준감독 객체 검출(SSOD) 분야의 최근 발전을 체계적으로 검토하기 위해.
• 가짜 레이블링, 일치성 정규화, 그래프 기반 학습, 전이 학습 등의 핵심 전략을 기반으로 SSOD 방법을 분석하고 분류하기 위해.
• MS-COCO와 PASCAL-VOC와 같은 표준 벤치마크에서 표준 지표(AP50, AP50:95)를 사용해 선도적 SSOD 방법의 성능을 평가하기 위해.
• 확인 편향, 노이즈가 섞인 가짜 레이블, 비균형된 레이블 데이터 등 주요 과제를 식별하고 향후 연구 방향을 제안하기 위해.
• SSOD 분야에 진입하는 연구자와 실무자에게 기초 자료를 제공하여 방법론적 혁신과 실용적 트레이드오프에 대한 통찰을 제공하기 위해.

제안 방법

• SSOD 접근 방식을 가짜 레이블링, 일치성 정규화, 그래프 기반 방법, 전이 학습 기반 기법으로 나누어 분류한다.
• 특히 강력한 증강 기법을 통해 모델의 강건성과 다양한 증강된 시각에서의 예측 일致성을 향상시키기 위해 데이터 증강 기법을 검토한다.
• 교차 엔트로피와 일치성 손실과 같은 널리 사용되는 손실 함수를 분석하여 레이블이 있는 데이터와 없는 데이터를 모두 활용한 모델 훈련을 최적화한다.
• MS-COCO와 PASCAL-VOC와 같은 표준 벤치마크를 사용하여 평가하며, 훈련 프로토콜로 1% 또는 5%의 레이블 데이터를 사용하고 나머지는 비레이블로 간주한다.
• 가짜 레이블 품질 향상과 NMS 및 임계값 설정에 대한 의존도 감소를 위해 소프트 레이블, 밀도 있는 가이던스, 점 기반 레이블과 같은 고급 기법을 도입한다.
• 훈련 파이프라인 기반의 SSOD 프레임워크 분류 체계를 제안하며, 테이처-스터디 디스틸레이션, 반복적 개선, 자기 훈련 메커니즘을 포함한다.

Figure 1: Taxonomy of SSOD from the process perspective.

실험 결과

연구 질문

• RQ1 가짜 레이블링, 일치성 정규화, 그래프 기반, 전이 학습 등의 서로 다른 준감독 전략이 객체 검출 벤치마크에서 성능 및 강건성 측면에서 어떻게 비교되는가?
• RQ2 고품질의 가짜 레이블을 생성하는 데 있어 주요 과제는 무엇이며, 최근 방법들은 확인 편향과 노이즈가 섞인 레이블 문제를 어떻게 완화하는가?
• RQ3 소프트 레이블, 점 기반 레이블, 밀도 있는 가이던스와 같은 다양한 레이블 형식이 저레이블 데이터 환경에서 검출 정확도와 훈련 효율성에 어떤 영향을 미치는가?
• RQ4 현재의 SSOD 방법들이 비균형적이거나 노이즈가 섞인 비레이블 데이터를 가진 실세계 시나리오에 얼마나 잘 일반화되는가?
• RQ5 준감독 객체 검출에서 모델 일반화를 향상시키기 위해 가장 효과적인 데이터 증강 기법과 손실 함수는 무엇인가?

주요 결과

• Dense Teacher는 MS-COCO에서 레이블이 1%인 조건에서 AP50:95가 37.13±0.12를 기록하여, 밀도 있는 가이던스와 소프트 레이블 학습의 효과를 입증했다.
• Label Match는 PASCAL-VOC에서 AP50:95가 56.80±0.18로 가장 높은 성능을 기록했으며, 고품질의 가짜 레이블과 균형 잡힌 테이처 제안을 활용함으로써 다른 방법들을 압도했다.
• Soft Teacher와 Cross Rectify와 같은 방법들은 MS-COCO에서 레이블이 1%일 때 AP50:95가 34% 이상을 기록하여, 낮은 감독 환경에서도 뛰어난 성능을 보였다.
• 소프트 레이블과 균형 잡힌 영역 제안의 사용은 성능 향상을 크게 이끌었으며, NMS 및 임계값 설정과 같은 후처리 단계의 필요성을 줄였다.
• 현재 SOTA 방법들은 노이즈가 섞인 비레이블 데이터에 대해 강건성을 보였지만, 비레이블 세트에 클래스 비균형이 존재할 경우 성능 저하가 발생했다.
• 강력한 데이터 증강과 일치성 정규화의 조합은 여러 벤치마크에서 일관된 성능 향상을 이끌었으며, 특히 저자료 환경에서 두드러졌다.

Figure 2: The generation process of pseudo labels.