[논문 리뷰] Unbiased Teacher v2: Semi-supervised Object Detection for Anchor-free and Anchor-based Detectors

Yen‐Cheng Liu, Chih‐Yao Ma외 1명|arXiv (Cornell University)|2022. 06. 19.

Advanced Image and Video Retrieval Techniques인용 수 4

한 줄 요약

이 논문은 경계 기반 불확실성 비교를 통해 잘못된 가짜 레이블을 줄이고, 회귀 헤드에 대한 새로운 불확실성 기반 가짜 레이블 선택 메커니즘인 Listen2Student를 도입함으로써 앵커 기반 및 앵커리스 검출기 모두에 일반화되는 준지도 학습 객체 검출 프레임워크인 Unbiased Teacher v2를 제안한다. 이는 COCO-표준, COCO-추가 및 VOC 벤치마크에서 상태의 기술(SOTA) 성능을 달성한다.

ABSTRACT

With the recent development of Semi-Supervised Object Detection (SS-OD) techniques, object detectors can be improved by using a limited amount of labeled data and abundant unlabeled data. However, there are still two challenges that are not addressed: (1) there is no prior SS-OD work on anchor-free detectors, and (2) prior works are ineffective when pseudo-labeling bounding box regression. In this paper, we present Unbiased Teacher v2, which shows the generalization of SS-OD method to anchor-free detectors and also introduces Listen2Student mechanism for the unsupervised regression loss. Specifically, we first present a study examining the effectiveness of existing SS-OD methods on anchor-free detectors and find that they achieve much lower performance improvements under the semi-supervised setting. We also observe that box selection with centerness and the localization-based labeling used in anchor-free detectors cannot work well under the semi-supervised setting. On the other hand, our Listen2Student mechanism explicitly prevents misleading pseudo-labels in the training of bounding box regression; we specifically develop a novel pseudo-labeling selection mechanism based on the Teacher and Student's relative uncertainties. This idea contributes to favorable improvement in the regression branch in the semi-supervised setting. Our method, which works for both anchor-free and anchor-based methods, consistently performs favorably against the state-of-the-art methods in VOC, COCO-standard, and COCO-additional.

연구 동기 및 목표

• 객체 검출에서 점점 더 인기 있는 앵커리스 검출기용 준지도 학습 객체 검출(SS-OD) 방법의 부족을 해결하기 위해.
• 특히 신뢰도 임계치를 사용할 경우에 효과적이지 않은 가짜 레이블링 문제를 해결하기 위해.
• 신뢰도 기반 임계치보다 더 견고한 선택 메커니즘을 통해 잘못된 가짜 레이블을 줄임으로써 회귀 성능을 향상시키기 위해.
• 통일되고 효과적인 방법을 적용하여 준지도 학습 하에서 앵커리스와 앵커기반 검출기 간의 성능 격차를 해소하기 위해.
• COCO-표준, COCO-추가 및 VOC를 포함한 다양한 벤치마크에서 제안된 방법의 효과성을 실증적으로 검증하기 위해.

제안 방법

• Teacher와 Student 네트워크 간의 상대적 불확실성에 기반해 회귀 가짜 레이블을 선택하는 Listen2Student 메커니즘을 도입한다.
• 분류 신뢰도에 의존하는 대신, 각 경계 상자 좌표의 사각형 경계 기반 불확실성 추정을 사용하여 가짜 레이블 선택을 안내한다.
• Teacher의 불확실성이 Student보다 낮을 경우에만 비지도 회귀 손실을 적용하여 신뢰할 수 없는 예측에서 발생하는 노이즈를 줄인다.
• 이 메커니즘을 앵커리스(예: FCOS, RetinaNet) 및 앵커기반(Faster R-CNN 등) 검출기 모두에 적용하여 아키텍처 간 일반화를 보장한다.
• 가짜 레이블링은 높은 신뢰도와 낮은 불확실성 영역에만 적용되는 일관된 자기학습 프레임워크를 사용하며, 데이터 증강 및 일관성 정규화를 적용한다.
• 반복적인 가짜 레이블링과 모델 정련을 포함하는 다단계 학습 프로토콜을 사용하여 Teacher와 Student 예측 간 일관성을 유지한다.

Figure 1 : To improve the unsupervised regression loss, we propose (a) Listen2Student , which explicitly compares the prediction uncertainties between the Teacher and the Student and selects these instances where the teacher has lower uncertainty than the student. We then enforce the unsupervised re

실험 결과

연구 질문

• RQ1 기존 SS-OD 방법이 앵커기반 검출기보다 앵커리스 검출기에서 성능이 열 劣하는 이유는 무엇인가?
• RQ2 준지도 학습 환경에서 중심성(Centerness)과 위치 기반 레이블링의 신뢰성이 어떻게 저하되는가?
• RQ3 Teacher와 Student 간의 상대적 불확실성이 경계 상자 회귀에 대한 가짜 레이블 품질을 향상시킬 수 있는가?
• RQ4 경계 기반 불확실성 추정 메커니즘이 신뢰도 기반 임계치보다 더 나은 회귀 성능을 낳는가?
• RQ5 통일된 SS-OD 프레임워크는 앵커리스 및 앵커기반 검출기 모두에서 최고 성능(SOTA)을 달성할 수 있는가?

주요 결과

• COCO2017-train를 레이블된 데이터로, COCO2017-unlabeled를 비레이블된 데이터로 사용할 때, Unbiased Teacher v2는 COCO-추가에서 44.75 mAP를 달성하여 지도 학습 기준점인 40.90 mAP를 초월한다.
• VOC07을 레이블된 데이터로, VOC12+COCO20cls를 비레이블된 데이터로 사용할 때, 모델은 58.08 mAP에 도달하여 지도 학습 기준점을 초월하며 강력한 일반화 능력을 보여준다.
• Listen2Student 메커니즘은 모든 IoU 임계치(AP55에서 AP95까지)에서 mAP를 향상시키며, 특히 엄격한 기준인 AP95에서 가장 두드러진 성과를 보여, 더 정밀한 경계 정확도를 확인한다.
• 신뢰도 기반 임계치만 사용할 경우 AP95 성능이 악화되며, 이는 정밀한 위치 추정에 해로운 잘못된 가짜 레이블을 유도함을 시사한다.
• 이 방법은 준지도 학습 하에서 앵커리스와 앵커기반 검출기 간의 성능 격차를 줄이며, 현대적인 앵커리스 아키텍처에 대해 준지도 학습이 효과적으로 일반화될 수 있음을 보여준다.
• 제거 분석 결과, 특히 고정밀도 검출 시나리오에서 상대적 불확실성 기반 선택이 신뢰도 기반 선택보다 더 효과적임을 확인한다.

Figure 2 : Illustration of Centerness bias issue. (a) Selecting pseudo-boxes based on box scores leads to worse results in semi-supervised learning compared with selecting based on classification scores. (b) Box scores of the anchor-free detectors [ 29 , 37 ] are defined as the multiplication of the