[논문 리뷰] Dense Teacher: Dense Pseudo-Labels for Semi-supervised Object Detection

Hongyu Zhou, Zheng Ge외 5명|arXiv (Cornell University)|2022. 07. 06.

Advanced Image and Video Retrieval Techniques인용 수 6

한 줄 요약

이 논문은 희박한 가짜 박스 대신 교사 모델의 원본 출력에서 직접 유도된 조밀한 가짜 레이블(DPLs)을 사용하는 반감독 객체 검출 프레임워크인 Dense Teacher를 제안한다. 이는 NMS 및 임계값 설정과 같은 후처리 단계를 제거함으로써 성능을 햖थ한다. 노이즈를 억제하고 어려운 음성 샘플을 강조하기 위해 영역 선택 전략을 도입함으로써, COCO 및 VOC 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 표준 설정 하에서 기존의 가짜 박스 기반 방법보다 최대 3.2% mAP 향상을 이룬다.

ABSTRACT

To date, the most powerful semi-supervised object detectors (SS-OD) are based on pseudo-boxes, which need a sequence of post-processing with fine-tuned hyper-parameters. In this work, we propose replacing the sparse pseudo-boxes with the dense prediction as a united and straightforward form of pseudo-label. Compared to the pseudo-boxes, our Dense Pseudo-Label (DPL) does not involve any post-processing method, thus retaining richer information. We also introduce a region selection technique to highlight the key information while suppressing the noise carried by dense labels. We name our proposed SS-OD algorithm that leverages the DPL as Dense Teacher. On COCO and VOC, Dense Teacher shows superior performance under various settings compared with the pseudo-box-based methods.

연구 동기 및 목표

• 가짜 박스 기반 반감독 객체 검출의 한계를 해결하기 위해, NMS 및 임계값 설정과 같은 오류를 일으킬 수 있는 후처리 단계와 민감한 초모수를 포함하는 방법의 의존도를 줄이기 위해.
• 교사 모델의 원본 출력에서 더 풍부한 정보를 유지하는 통합적이고 엔드 투 엔드 형태의 가짜 레이블링을 제안하기 위해.
• 조밀한 예측에서 고품질의 어려운 음성 영역을 선택적으로 학습시켜 모델 일반화 능력을 향상시키기 위해.
• 조밀한 가짜 레이블과 함께 지능적인 영역 선택 전략을 적용할 경우, 전통적인 가짜 박스 파이프라인보다 우수한 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 조밀한 가짜 레이블(DPLs)은 후처리 없이 교사 모델의 원본 출력에서 직접 생성되며, 공간적 정보와 신뢰도 정보를 모두 유지한다.
• 학생 모델은 라벨이 있는 데이터로부터의 진짜 레이블과 라벨이 없는 데이터로부터의 DPLs를 모두 사용하여, 데이터 증강과 함께 일致성 정규화 기반으로 학습된다.
• 영역 분할 전략을 통해 고신뢰도 및 어려운 음성 영역(예: FPN 레이어의 1%)을 선별하여 비지도 학습에 집중함으로써, 낮은 점수의 노이즈 예측을 억제한다.
• 교사 모델은 학생 모델의 지수이동평균(EMA)으로 유지되어 학습 중 안정적인 가짜 레이블 생성을 가능하게 한다.
• 비지도 손실은 가용 데이터에 따라 조정 가능한 학습 가능한 인자 $ w_u $로 가중되며, 지도 학습과 비지도 학습 신호 간의 균형을 조절한다.
• 이 방법은 일차 검출기(FCOS, RetinaNet)와 다양한 데이터셋(COCO, VOC, CrowdedHuman)에서 평가되어 강건성과 일반화 능력을 입증하였다.

실험 결과

연구 질문

• RQ1 희박한 가짜 박스 대신 조밀한 가짜 레이블을 사용함으로써, 후처리 병목 현상을 제거함으로써 반감독 객체 검출 성능이 향상되는가?
• RQ2 조밀한 예측에서 핵심 영역을 선택하는 것이 모델 학습과 성능에 어떤 영향을 미치는가?
• RQ3 제안된 영역 선택 전략이 노이즈를 효과적으로 억제하면서도 정보가 풍부한 어려운 음성 샘플을 유지할 수 있는가?
• RQ4 학습 영역 크기 및 비지도 손실 가중치와 같은 초모수는 모델 수렴과 정확도에 어떤 영향을 미치는가?
• RQ5 Dense Teacher 프레임워크는 다양한 검출기 아키텍처와 데이터셋에 일반화되는가?

주요 결과

• COCO-Standard 10%에서 Dense Teacher는 35.11 mAP를 달성하여 이전 최고 성능인 Unbiased Teacher보다 3.2% mAP 향상되었다.
• COCO-Full에서 Dense Teacher는 44.92 mAP를 기록하여 풍부한 라벨 데이터가 존재하는 환경에서도 뛰어난 성능을 보였다.
• 영역 선택 전략은 노이즈 억제 기준 대비 1.47% mAP 향상, 어려운 음성 샘플 忽시 기준 대비 2.47% mAP 향상으로 효과를 입증하였다.
• 최적의 학습 영역 크기는 FPN 레이어의 1%(5개 레이어)였으며, 이는 양성 및 유의미한 어려운 음성 샘플을 모두 포함하였다.
• 낮은 라벨 데이터 설정(COCO-10%)에서는 높은 비지도 가중치($ w_u = 4 $)가 최적인 반면, 전체 데이터 설정에서는 $ w_u = 2 $로도 충분하였다.
• 이 방법은 앵커 기반 검출기(RetinaNet)와 다른 데이터셋(CrowdedHuman)으로도 일반화되었으며, 각각 +2.2% mAP 및 +2.1% mMR 향상을 달성하였다.