[논문 리뷰] Semi-Supervised Object Detection with Adaptive Class-Rebalancing Self-Training

Fangyuan Zhang, Tianxiang Pan외 1명|arXiv (Cornell University)|2021. 07. 11.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 라벨된 데이터와 라벨되지 않은 데이터에서 복구된 전경 인스턴스를 재결합하여 적응형 데이터 재균형을 구현하는 새로운 메모리 모듈인 CropBank를 사용하는 반감독 객체 검출 방법인 적응형 클래스 재균형 자기학습(ACRST)을 제안한다. 전경-배경 및 전경-전경 클래스 불균형 문제를 해결하기 위해 전경-배경 재균형(FBR)과 적응형 전경-전경 재균형(AFFR)을 도입하고, 분류 신뢰도와 이미지 수준의 가짜 라벨을 사용하는 이중 단계 필터링 기반으로, ACRST는 1% COCO-표준에서 이전 방법 대비 mAP 5.32 향상이라는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This study delves into semi-supervised object detection (SSOD) to improve detector performance with additional unlabeled data. State-of-the-art SSOD performance has been achieved recently by self-training, in which training supervision consists of ground truths and pseudo-labels. In current studies, we observe that class imbalance in SSOD severely impedes the effectiveness of self-training. To address the class imbalance, we propose adaptive class-rebalancing self-training (ACRST) with a novel memory module called CropBank. ACRST adaptively rebalances the training data with foreground instances extracted from the CropBank, thereby alleviating the class imbalance. Owing to the high complexity of detection tasks, we observe that both self-training and data-rebalancing suffer from noisy pseudo-labels in SSOD. Therefore, we propose a novel two-stage filtering algorithm to generate accurate pseudo-labels. Our method achieves satisfactory improvements on MS-COCO and VOC benchmarks. When using only 1\% labeled data in MS-COCO, our method achieves 17.02 mAP improvement over supervised baselines, and 5.32 mAP improvement compared with state-of-the-art methods.

연구 동기 및 목표

• 반감독 객체 검출(SSOD)에서 심각한 클래스 불균형, 특히 전경-배경 및 전경-전경 불균형 문제를 해결하여 자기학습의 효과를 향상시키기.
• 분류 작업에 특화된 기존 자기학습 방법의 한계를 극복하여, 복잡한 데이터 분포와 노이즈가 많은 가짜 라벨로 인해 검출 작업에서 성능이 열등한 문제를 해결하기.
• 객체 인스턴스가 얽히고설킨 상태에서 해소되는 검출 전용 데이터 증강 및 재균형 기법을 개발하여 적응적이고 균형 잡힌 학습을 가능하게 하기.
• 분류 신뢰도와 고수준의 이미지 수준 가짜 라벨을 활용한 이중 단계 필터링 기반으로 가짜 라벨 품질을 향상시켜 자기학습의 노이즈를 감소시키기.
• 최소한의 라벨된 데이터로 MS-COCO 및 VOC 벤치마크에서 최신 기술 수준의 성능을 달성하며, 특히 낮은 데이터 환경(예: 1% 라벨된 데이터)에서 뛰어난 성능을 보이기.

제안 방법

• 라벨된 데이터와 라벨되지 않은 데이터에서 전경 인스턴스(실제 라벨 및 가짜 라벨)를 저장하고 검색하는 메모리 모듈인 CropBank를 도입하여 데이터 재결합을 구현한다.
• 전경-배경 재균형(FBR)을 설계하여 CropBank에서 추출한 전경 인스턴스를 사용해 훈련 이미지에 삽입함으로써 전경 인스턴스 비율을 증가시킨다.
• 가짜 리콜 기준을 활용한 적응형 전경-전경 재균형(AFFR)을 제안하여 가짜 라벨에서 부족한 클래스를 탐지하고 우선순위를 정한다.
• 이중 단계 필터링 알고리즘을 구현: 첫 번째로 낮은 신뢰도 예측을 필터링하고, 두 번째로 이미지 수준의 가짜 라벨(반감독 다중 라벨 분류 모듈에서 유도)과 일치하지 않는 예측을 추가로 제거한다.
• 이 필터링 기법을 자기학습 루프에 통합하여 재균형되고 품질 높은 가짜 라벨 데이터를 기반으로 검출기 성능을 반복적으로 향상시킨다.
• 선택적 감독 기법을 활용해 완성되지 않은 예측을 새로운 배경으로 이동시켜 회귀 정확도를 향상시키고 검출 타겟의 노이즈를 감소시킨다.

실험 결과

연구 질문

• RQ1 데이터 재가중 및 증강을 통해 반감독 객체 검출에서 전경-배경 클래스 불균형 문제를 효과적으로 완화할 수 있는가?
• RQ2 가짜 리콜 및 신뢰도 지표를 기반으로 한 적응형 샘플링을 통해 가짜 라벨 내 전경-전경 클래스 불균형을 어느 정도 줄일 수 있는가?
• RQ3 이미지 수준의 의미 정보(이미지 수준의 가짜 라벨)는 신뢰도 기반 필터링 대비 검출 작업에서 가짜 라벨 필터링의 신뢰성을 향상시키는가?
• RQ4 검출 전용 메모리 모듈인 CropBank의 통합은 MixUp 또는 CutMix와 같은 기존 방법에 비해 데이터 증강 및 재균형에 어떤 영향을 미치는가?
• RQ5 가짜 라벨의 노이즈가 자기학습 수렴에 어떤 영향을 미치며, 복잡한 검출 환경에서 이를 체계적으로 줄일 수 있는가?

주요 결과

• 1% COCO-표준 벤치마크에서 ACRST는 완전히 라벨된 기반 모델 대비 17.02 mAP 향상 및 최신 기술 수준의 방법 대비 5.32 mAP 향상 달성.
• 이중 단계 필터링 기법은 가짜 라벨 정확도를 0.735에서 0.792로 향상시키며, mAP를 20.75에서 23.48로 향상시켜 신뢰도와 이미지 수준 의미 정보를 조합한 효과를 입증한다.
• CropBank는 STAC 기반 모델에서 MixUp 및 Mosaic 증강 대비 AP_{50:95}를 0.85 포인트 향상시켰다(16.00에서 16.85로).
• 적응형 전경-전경 재균형(AFFR) 기법은 이중 단계 마이닝 설정에서 가짜 라벨 리콜을 0.299에서 0.376으로 향상시켜 희귀 클래스의 커버리지가 향상됨을 시사한다.
• VOC07 기준으로 라벨된 데이터로만 구성된 환경에서 최신 기술 수준의 방법 대비 1.43 mAP 향상 달성.
• 실험 결과, 더 높은 가짜 라벨 정확도가 더 높은 리콜보다 더 중요하며, 이중 단계 필터링 전략은 단일 단계 필터링 대비 낮은 리콜에도 불구하고 2.73 mAP 향상 기여함을 확인했다.