[논문 리뷰] Semi-supervised Object Detection via Virtual Category Learning

Changrui Chen, Kurt Debattista외 1명|arXiv (Cornell University)|2022. 07. 07.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 반감성 객체 검출에서 혼란스럽고 레이블링이 어려운 샘플을 가상의 카테고리(Virtual Category, VC)로 할당하여 정확한 가짜 레이블에 의존하지 않고도 안전하게 학습할 수 있도록 하는 가상 카테고리(VC) 학습을 제안한다. 상호 클래스 간 거리의 하한을 정의하고 수정된 크로스 엔트로피 손실을 사용함으로써 확증 편향을 방지하며, COCO에서 1%의 레이블된 데이터로도 최신 기준 mAP를 달성한다.

ABSTRACT

Due to the costliness of labelled data in real-world applications, semi-supervised object detectors, underpinned by pseudo labelling, are appealing. However, handling confusing samples is nontrivial: discarding valuable confusing samples would compromise the model generalisation while using them for training would exacerbate the confirmation bias issue caused by inevitable mislabelling. To solve this problem, this paper proposes to use confusing samples proactively without label correction. Specifically, a virtual category (VC) is assigned to each confusing sample such that they can safely contribute to the model optimisation even without a concrete label. It is attributed to specifying the embedding distance between the training sample and the virtual category as the lower bound of the inter-class distance. Moreover, we also modify the localisation loss to allow high-quality boundaries for location regression. Extensive experiments demonstrate that the proposed VC learning significantly surpasses the state-of-the-art, especially with small amounts of available labels.

연구 동기 및 목표

• 기존의 필터링 전략이 유용한 데이터를 기각하거나 노이즈가 많은 가짜 레이블로 인해 확증 편향이 발생하는 반감성 객체 검출(SSOD)에서 혼란스럽고 레이블링이 어려운 샘플을 다루는 도전 과제를 해결하기 위해.
• 정확한 레이블 보정이 필요 없이 혼란스러운 샘플을 능동적으로 활용함으로써 기존의 필터링 또는 다중 레이블 전략의 한계를 극복하기 위해.
• 가짜 레이블이 신뢰할 수 없을 경우에 대체로 안전한 가상 카테고리(VC)를 도입함으로써 낮은 감독 설정 하에서 모델의 일반화 능력과 성능을 향상시키기 위해.
• 경계 품질의 수평 및 수직 성질을 분리함으로써 회귀 학습을 향상시키고, 높은 품질의 경계가 학습을 이끄는 데 기여하기 위해.

제안 방법

• 가짜 레이블이 신뢰할 수 없는 혼란스러운 샘플 각각에 대해 가상 카테고리(VC)를 할당하고, VC를 별도의 클래스로 간주하는 수정된 크로스 엔트로피 손실을 사용한다.
• 샘플과 가상 카테고리 간의 임bedding 거리가 상호 클래스 간 거리의 하한이 되도록 VC를 정의함으로써 결정 경계의 안정성을 높인다.
• 시간적 안정성 검증 또는 다중 모델 검증을 통해 각 혼란스러운 샘플에 대한 잠재 카테고리(PC) 집합을 구성한다.
• 경계 회귀 손실에서 수평 및 수직 위치 품질을 분리하여 학습 중 높은 품질의 경계를 우선적으로 고려한다.
• 선생 모델의 특징 벡터에서 유도된 가상 가중치를 생성하며, 데이터 증강을 적용하여 강건성을 향상시킨다. 다만 강력한 증강은 성능을 약간 떨어뜨린다.
• 가상 가중치의 노름을 표준 분류기 가중치와 동일하게 정규화하기 위해 스케일링 인자를 사용하며, 아블레이션 결과 최적의 성능은 3.5에서 달성된다.

실험 결과

연구 질문

• RQ1 반감성 객체 검출에서 혼란스럽고 레이블링이 어려운 샘플을 정확한 레이블 보정 없이 효과적으로 활용할 수 있는가?
• RQ2 노이즈가 많은 가짜 레이블로 인한 확증 편향을 피하면서도 안전하게 최적화에 기여할 수 있도록 가상 카테고리를 어떻게 설계할 수 있는가?
• RQ3 수평 및 수직 위치 품질을 분리함으로써 반감성 검출의 회귀 성능에 어떤 영향을 미치는가?
• RQ4 잠재 카테고리 집합을 구성하는 데 사용되는 다양한 방법(예: 시간적 안정성 대비 다중 모델 검증)이 전체 mAP에 어떤 영향을 미치는가?
• RQ5 스케일링 인자, 위치 품질 임계값 등의 하이퍼파라미터 중 제안된 VC 학습 방법의 성능에 가장 큰 영향을 미치는 것은 무엇인가?

주요 결과

• 제안된 VC 학습 방법은 1% 레이블된 MS COCO에서 20.81 mAP를 달성하여, 낮은 감독 설정 하에서 기준 모델 및 기존 최신 기술보다 뚜렷이 뛰어난 성능을 보였다.
• 다중 모델 검증을 통해 잠재 카테고리 집합을 구성할 경우 20.96 mAP를 기록하여 기준 모델 대비 0.96점 향상되었으며, 이는 공훈 학습 유사 메커니즘의 유용성을 입증한다.
• 시간적 안정성 검증을 사용할 경우 기준 모델의 19.51 mAP에서 성능 저하가 20.81 mAP로 감소하여 강건성과 효과성을 입증했다.
• 아블레이션 연구 결과, 가상 가중치 생성에 강력한 데이터 증강을 사용할 경우 성능이 약간 떨어지며, 이는 과도한 변형으로 인한 특징 공간 이탈 때문일 가능성이 높다.
• 가상 가중치의 최적 스케일링 인자는 3.5이며, 이 경우 mAP가 최고로 높아졌다. 위치 품질 임계값 0.05는 안정성과 성능 간의 최적 균형을 제공한다.
• 10% 레이블된 데이터로도 최고의 mAP를 달성했지만, 기준 모델의 성능 향상과 혼란스러운 샘플 수 감소로 인해 상대적 성과 향상 폭은 더 작았다.