[논문 리뷰] Towards End-to-end Semi-supervised Learning for One-stage Object Detection

Gen Luo, Yiyi Zhou외 3명|arXiv (Cornell University)|2023. 02. 22.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 YOLOv5와 같은 one-stage 검출기에서 엔드 투 엔드 준지도 학습을 위한 새로운 교사-학생 프레임워크인 OneTeacher를 제안한다. Multi-view Pseudo-label Refinement (MPR)와 Decoupled Semi-supervised Optimization (DSO)를 통해 낮은 품질의 가짜 레이블 문제와 다중 작업 최적화 갈등을 해결하여 COCO에서 Unbiased Teacher 대비 15.0% 상대 AP 향상을 달성한다.

ABSTRACT

Semi-supervised object detection (SSOD) is a research hot spot in computer vision, which can greatly reduce the requirement for expensive bounding-box annotations. Despite great success, existing progress mainly focuses on two-stage detection networks like FasterRCNN, while the research on one-stage detectors is often ignored. In this paper, we focus on the semi-supervised learning for the advanced and popular one-stage detection network YOLOv5. Compared with Faster-RCNN, the implementation of YOLOv5 is much more complex, and the various training techniques used in YOLOv5 can also reduce the benefit of SSOD. In addition to this challenge, we also reveal two key issues in one-stage SSOD, which are low-quality pseudo-labeling and multi-task optimization conflict, respectively. To address these issues, we propose a novel teacher-student learning recipe called OneTeacher with two innovative designs, namely Multi-view Pseudo-label Refinement (MPR) and Decoupled Semi-supervised Optimization (DSO). In particular, MPR improves the quality of pseudo-labels via augmented-view refinement and global-view filtering, and DSO handles the joint optimization conflicts via structure tweaks and task-specific pseudo-labeling. In addition, we also carefully revise the implementation of YOLOv5 to maximize the benefits of SSOD, which is also shared with the existing SSOD methods for fair comparison. To validate OneTeacher, we conduct extensive experiments on COCO and Pascal VOC. The extensive experiments show that OneTeacher can not only achieve superior performance than the compared methods, e.g., 15.0% relative AP gains over Unbiased Teacher, but also well handle the key issues in one-stage SSOD. Our source code is available at: https://github.com/luogen1996/OneTeacher.

연구 동기 및 목표

• 광범위하게 사용되지만 기존 SSOD 연구에서 자주 간과되는 YOLOv5와 같은 one-stage 검출기에서 준지도 학습 객체 검출의 미해결 과제를 다루기.
• 밀도 높은 예측으로 인한 낮은 품질의 가짜 레이블과 공유 레이블 기준으로 인한 다중 작업 최적화 갈등이라는 one-stage SSOD의 두 핵심 문제를 식별하고 해결하기.
• SSOD 최적 실천 방식과 부합하도록 YOLOv5의 구현을 세심히 재수정하여 교사-학생 학습의 이점을 극대화하기.
• one-stage 검출기에서 엔드 투 엔드 준지도 학습을 가능하게 하는 새로운 학습 레시피를 제안하여 성능과 견고성을 모두 향상시키기.

제안 방법

• 다양한 시각에서의 비교와 전역 시각 필터링을 통해 가짜 레이블 품질을 향상시키는 Multi-view Pseudo-label Refinement (MPR) 도입.
• 분류 및 회귀 헤드를 분리하여 네트워크 구조를 수정함으로써 Decoupled Semi-supervised Optimization (DSO)를 구현하여, 각 작업에 맞는 다른 신뢰도 임계값을 사용한 작업별 가짜 레이블링을 가능하게 함.
• 원본 및 증강된 시각 간의 일致성 검사를 통한 인스턴스 수준의 정련을 적용하여 가짜 레이블의 견고성을 향상시킴.
• 이미지 수준의 예측을 사용하여 저신뢰도 가짜 레이블을 걸러내어 잡음 감소와 전체 레이블 품질 향상.
• YOLOv5의 학습 파이프라인을 개선하여 고급 데이터 증강 및 최적화 기법(예: 코사인 감쇠, EMA)을 통합하여 SSOD 성능 극대화.
• 분류(0.4)와 회귀(0.4)에 대해 별도의 가짜 레이블링 임계값을 적용하여 one-stage 검출기에서의 노이즈 내성 차이를 반영함.

Figure 1 : Qualities of pseudo-labels of YOLOv5 [ 22 ] and FasterRCNN [ 7 ] in Unbiased Teacher [ 11 ] . The subplots of (a) and (b) show that the average pseudo-label quality of YOLOv5 is much lower than that of FasterRCNN, especially in the initial training phase. Subplot (c) illustrates the diffe

실험 결과

연구 질문

• RQ1 왜 기존의 교사-학생 방법들은 two-stage 모델에 비해 YOLOv5와 같은 one-stage 검출기에서 준지도 학습 객체 검출 성능을 떨어뜨리는가?
• RQ2 밀도 높은 앵커 예측으로 인해 노이즈가 많아지는 one-stage 검출기에서 가짜 레이블 품질을 어떻게 향상시킬 수 있는가?
• RQ3 분류와 회귀 간의 다중 작업 최적화 갈등이 one-stage SSOD 성능에 얼마나 큰 영향을 미치며, 이를 어떻게 완화할 수 있는가?
• RQ4 YOLOv5의 준지도 학습 설정에서 최적의 데이터 증강 및 가짜 레이블링 임계값 조합은 무엇인가?
• RQ5 one-stage 검출기의 본질적 아키텍처를 훼손하지 않고도 준지도 학습의 이점을 극대화할 수 있는 통합 학습 레시피를 설계할 수 있는가?

주요 결과

• OneTeacher는 표준 1× 설정에서 COCO에서 Unbiased Teacher 대비 15.0% 상대 AP 향상을 달성하여 one-stage SSOD에서 뛰어난 성능을 입증한다.
• 제안된 MPR 메커니즘은 가짜 레이블 품질을 크게 향상시켜, 잡음 많은 예측 감소와 이전에 놓친 객체의 더 나은 검출을 시각화한 결과로 확인된다.
• DSO는 분류 및 회귀 헤드를 분리함으로써 다중 작업 최적화 갈등을 효과적으로 해결하여 수렴 속도 향상과 더 나은 성능을 이끌어낸다.
• 표준 two-stage SSOD 기법이 아닌 YOLOv5 전용 데이터 증강을 사용할 경우 mAP가 13.5점 향상되어, 모델 특화 구현의 중요성을 입증한다.
• YOLOv5의 최적 가짜 레이블링 임계값은 분류 및 회귀 모두 0.4로, FasterRCNN에서 사용하는 0.7보다 훨씬 낮아 one-stage 검출기에서 노이즈에 더 민감함을 시사한다.
• 절단 실험 결과, MPR에서 증강된 시각 정련이 필터링되지 않은 평균화를 통해 노이즈 확산을 피하는 Flip Ensemble보다 성능이 뛰어나다는 것이 확인되었다.

Figure 2 : The framework of OneTeacher. The teacher network produces high-quality pseudo-labels for the student by the proposed Multi-view Pseudo-label Refinement (MPR). Its parameters are updated from the student ones via EMA [ 14 ] . OneTeacher also deploys a novel Decoupled-Semi-supervised Optimi