[논문 리뷰] Data-Uncertainty Guided Multi-Phase Learning for Semi-Supervised Object Detection

Zhenyu Wang, Yali Li외 3명|arXiv (Cornell University)|2021. 03. 29.

Advanced Neural Network Applications참고 문헌 50인용 수 5

한 줄 요약

이 논문은 데이터 불확실성 지도 다중단계 학습 프레임워크를 제안하여, 서로 다른 학습 단계에서 쉬운 및 어려운 비라벨 이미지를 분리함으로써 모델의 강건성을 향상시킨다. 이미지 수준의 불확실성은 데이터 선택에, 영역 수준의 불확실성은 RoI 재가중에 사용되어 노이즈 과적합을 감소시키며, 최신 기술 수준의 성능을 달성한다. PASCAL VOC에서 이전 방법보다 3% 이상, MS COCO에서 2% 이상 향상된다.

ABSTRACT

In this paper, we delve into semi-supervised object detection where unlabeled images are leveraged to break through the upper bound of fully-supervised object detection models. Previous semi-supervised methods based on pseudo labels are severely degenerated by noise and prone to overfit to noisy labels, thus are deficient in learning different unlabeled knowledge well. To address this issue, we propose a data-uncertainty guided multi-phase learning method for semi-supervised object detection. We comprehensively consider divergent types of unlabeled images according to their difficulty levels, utilize them in different phases and ensemble models from different phases together to generate ultimate results. Image uncertainty guided easy data selection and region uncertainty guided RoI Re-weighting are involved in multi-phase learning and enable the detector to concentrate on more certain knowledge. Through extensive experiments on PASCAL VOC and MS COCO, we demonstrate that our method behaves extraordinarily compared to baseline approaches and outperforms them by a large margin, more than 3% on VOC and 2% on COCO.

연구 동기 및 목표

• 깊이 학습 모델에서 유도된 노이즈가 많은 가짜 라벨이 비라벨 데이터 학습을 방해하는 준지도 객체 검출에서의 라벨 노이즈 과적합 문제를 해결한다.
• 다양한 난이도 수준의 이미지 간 학습 균형을 맞추지 못하는 단일단계 학습 기반의 한계를 극복한다.
• 데이터 불확실성 기반으로 학습을 단계별로 구조화하여, 먼저 더 쉬운, 더 신뢰할 수 있는 샘플에 집중적으로 학습함으로써 모델 일반화 능력을 향상시킨다.
• 학습 중 영역 불확실성 기반 RoI 재가중을 도입하여 특징 맵 내 노이즈가 많은 영역의 영향을 줄인다.
• 불확실성 인식 다중단계 학습을 통해 비라벨 데이터를 효과적으로 활용하여 표준 벤치마크에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 초기 단계에서 낮은 불확실성(쉬운) 이미지를 우선시하기 위해, 비라벨 이미지 선택을 위한 이미지 수준의 불확실성 추정을 도입한다.
• 쉬운 이미지에서부터 시작하여 어려운 비라벨 이미지로 순차적으로 학습하는 다중단계 학습 파이프라인을 구현하여, 다양한 난이도 수준에 맞는 특화 학습을 가능하게 한다.
• 배경 영역 간 유사성과 겹침을 기반으로 영역 수준의 불확실성 측정을 수행하여 노이즈가 많거나 모호한 영역을 식별한다.
• 학습 중 영역 불확실성 점수를 활용해 RoI 재가중을 적용하여, 불확실한 영역의 기울기 기여도를 감소시켜 신뢰할 수 있는 검출에 집중하도록 한다.
• 추론 시 각 단계에서의 모델 앙상블을 통해 쉬운 및 어려운 샘플에서의 지식을 통합하여 전체 검출 성능을 향상시킨다.
• 기본적으로 이단계 학습 전략을 사용하며, VOC 및 COCO 데이터셋에서 두 번 이상의 단계로 확장할 경우 수익 감소 현상이 관찰되어 실증적으로 검증되었다.

실험 결과

연구 질문

• RQ1 데이터 불확실성에 기반한 다단계 학습 전략이 단일단계 가짜 라벨링에 비해 준지도 객체 검출 성능 향상에 기여하는가?
• RQ2 단계 간 쉬운 및 어려운 비라벨 이미지를 분리함으로써 모델 일반화 능력과 노이즈 과적합에 어떤 영향을 미치는가?
• RQ3 영역 수준의 불확실성 추정이 배경 영역 내 노이즈 가짜 라벨의 영향을 어느 정도 감소시킬 수 있는가?
• RQ4 표준 벤치마크에서 mAP를 최대화하기 위해 첫 번째 학습 단계에서 쉬운 비라벨 이미지의 최적 비율은 얼마인가?
• RQ5 MS COCO와 같은 복잡한 데이터셋에서 두 단계를 초과해 학습 단계를 늘일 경우 성능 향상이 유의미하게 발생하는가?

주요 결과

• 제안된 방법은 PASCAL VOC 2007 테스트 세트에서 78.6% mAP를 달성하여 이전 최신 기술 수준을 2.4% 포인트 초월한다.
• MS COCO minival에서의 성능은 42.3% mAP를 기록하여 이전 최신 기술 수준 대비 2.2% 포인트 향상되었다.
• 이단계 학습 전략이 가장 높은 성능을 보였으며, 첫 번째 단계에서 약 50%의 비라벨 이미지를 사용할 경우 mAP가 76.8%에 도달했다.
• 쉬운 이미지 비율이 50%를 초과하면 후속 단계에서 라벨 노이즈 과적합이 증가하여 성능 저하가 발생한다.
• 세 단계나 네 단계로 확장해도 성능 향상이 미미하다(예: VOC에서 78.9% 기록), 두 단계를 초과할 경우 수익 감소 현상이 나타난다.
• 영역 불확실성 기반 RoI 재가중이 모호한 배경 영역의 영향을 효과적으로 감소시켜 검출 신뢰도를 향상시킨다.