[논문 리뷰] Salvage of Supervision in Weakly Supervised Object Detection

Sui Lin, Chen-Lin Zhang외 1명|arXiv (Cornell University)|2021. 06. 08.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 이미지 수준 레이블, 고품질 편집 박스 애너테이션 생성, 노이즈가 있는 편집 레이블 데이터에 대한 준감독 학습을 활용하여 약한 감독 객체 검출을 향상시키는 삼단계 프레임워크인 감독 복구(SoS-WSOD)를 제안한다. ResNet, RoIAlign, FPN과 같은 현대적 완전 감독 객체 검출 기법을 통합함으로써 SoS-WSOD는 VOC2007에서 64.4 mAP50, VOC2012에서 61.9 mAP50, MS-COCO에서 16.6 mAP50:95의 최신 기술 수준 성능을 달성하며, 외부 제안 생성을 제거함으로써 더 빠른 추론을 가능하게 한다.

ABSTRACT

Weakly supervised object detection~(WSOD) has recently attracted much attention. However, the lack of bounding-box supervision makes its accuracy much lower than fully supervised object detection (FSOD), and currently modern FSOD techniques cannot be applied to WSOD. To bridge the performance and technical gaps between WSOD and FSOD, this paper proposes a new framework, Salvage of Supervision (SoS), with the key idea being to harness every potentially useful supervisory signal in WSOD: the weak image-level labels, the pseudo-labels, and the power of semi-supervised object detection. This paper proposes new approaches to utilize these weak and noisy signals effectively, and shows that each type of supervisory signal brings in notable improvements, outperforms existing WSOD methods (which mainly use only the weak labels) by large margins. The proposed SoS-WSOD method also has the ability to freely use modern FSOD techniques. SoS-WSOD achieves 64.4 $m ext{AP}_{50}$ on VOC2007, 61.9 $m ext{AP}_{50}$ on VOC2012 and 16.6 $m ext{AP}_{50:95}$ on MS-COCO, and also has fast inference speed. Ablations and visualization further verify the effectiveness of SoS.

연구 동기 및 목표

• 약한 감독 객체 검출(WSOD)과 완전 감독 객체 검출(FSOD) 간의 성능 및 기술 격차를 해소하여, 현재 WSOD가 오래된 아키텍처와 느린 추론에 국한되는 문제를 해결한다.
• WSOD에서 감독 신호의 잠재적 활용이 부족한 문제, 특히 편집 박스 애너테이션과 미레이블 데이터의 효과적인 활용이 부족한 문제를 해결한다.
• ResNet 백본, RoIAlign, FPN 등의 현대적 FSOD 기법이 약한 감독 학습에서 효과적으로 활용될 수 있도록, 편집 감독 및 노이즈 레이블 학습을 효과적으로 활용할 수 있는 프레임워크를 개발함으로써 WSOD가 이러한 기법의 전반적인 이점을 누릴 수 있도록 한다.
• 편집 감독 신호, 편집 레이블, 그리고 미레이블 데이터를 체계적으로 복구하고 재사용하는 새로운 삼단계 파이프라인을 도입함으로써 WSOD의 정확도와 속도를 향상시킨다.

제안 방법

• 1단계는 이미지 수준 레이블을 사용하여 약한 감독 검출기를 훈련하며, 새로운 후처리 모듈(PGF)을 갖춘 개선된 OICR 기반 방법을 적용하여 검출 결과를 필터링하고 정밀도를 향상시킨다.
• 2단계는 PGF 모듈을 통해 고품질의 편집 박스 애너테이션을 생성하고, ResNet, RoIAlign, FPN와 같은 현대적 FSOD 기법을 활용하는 편집-완전 감독 학습 단계를 실시한다.
• 3단계는 훈련 세트를 '청정'(레이블 있음) 및 '노이즈'(미레이블) 세트로 분할하여 새로운 준감독 객체 검출-SSOD 설정을 도입한다. 클래스 분포를 균형 있게 유지하고 노이즈 영향을 줄이기 위해 규칙 기반 전략을 사용한다.
• PGF 모듈은 저신뢰도 검출을 필터링하고 제안의 신뢰도 및 일관성에 기반해 편집 애너테이션을 정밀화하기 위해 두 개의 하이퍼파라미터 $t_{keep}$ 및 $t_{con}$을 사용한다.
• 프레임워크는 전체 편집 레이블 데이터 세트를 노이즈가 있는 것으로 간주하고, 일반화 능력을 향상시키고 불완전한 편집 레이블에서 오는 오류 전파를 줄이기 위해 준감독 학습을 적용한다.
• 외부 객체 제안 생성을 회피함으로써 종단 간 검출 헤드에 의존함으로써 더 빠른 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 이미지 수준 레이블만 존재할 때, ResNet, RoIAlign, FPN와 같은 현대적 완전 감독 객체 검출 기법이 약한 감독 객체 검출에 효과적으로 적용될 수 있는가?
• RQ2 약한 감독 검출기에서 유의미한 향상이 이루어지는 고품질의 편집 박스 애너테이션을 어떻게 생성할 수 있는가?
• RQ3 편집 레이블 데이터를 노이즈가 있는 것으로 간주하고 준감독 학습을 효과적으로 활용할 수 있는가? 어떤 분할 전략이 성능을 최대화하는가?
• RQ4 준감독 단계에서 레이블이 있는 데이터와 없는 데이터의 최적의 비율은 무엇인가? 클래스 불균형과 성능 붕괴를 방지하기 위한가?
• RQ5 약한 레이블, 편집 레이블, 그리고 미레이블 데이터 등 모든 가용 감독 신호를 체계적으로 복구함으로써 WSOD의 성능을 얼마나 향상시킬 수 있는가?

주요 결과

• SoS-WSOD는 VOC2007에서 64.4 mAP50를 달성하여, 이전의 이미지 수준 레이블만을 사용하는 WSOD 방법보다 뚜렷이 뛰어난 성능을 보였다.
• VOC2012에서는 61.9 mAP50를 기록하여, 상자 수준 애너테이션이 없는 상황에서도 강력한 일반화 능력을 입증했다.
• MS-COCO에서는 16.6 mAP50:95를 달성하여 이전 WSOD 접근 방식보다 상당한 향상을 이뤘고, 완전 감독 검출기와의 격차를 좁혔다.
• 기존 WSOD 방법보다 더 빠른 추론을 달성했으며, 단일 RTX3090 GPU에서 1장당 0.031초의 추론 시간을 기록하여 시간이 오래 걸리는 외부 제안 생성이 필요 없어졌다.
• 제거 실험 결과, 각 단계—편집-완전 감독 학습 및 준감독 학습—이 성능 향상에 기여하며, 특히 최적의 분할 크기(K=2000, VOC2007 기준)를 사용할 경우 준감독 단계의 효과가 뚜렷하게 드러났다.
• 시각화 결과는 SoS-WSOD가 복잡한 장면에서도 더 정확하고 완전한 객체를 탐지하며, 부분 지배나 집합적 예측 문제를 효과적으로 줄이는 것으로 나타났다.