[논문 리뷰] C-WSL: Count-guided Weakly Supervised Localization

Mingfei Gao, Ang Li외 3명|arXiv (Cornell University)|2017. 11. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 9

한 줄 요약

C-WSL는 각 클래스의 객체 수를 활용하여 약한 감독 하의 객체 검출에서 정밀도를 향상시키는 카운트 유도 약한 감독 지역화를 도입한다. 간단한 수기 기반 영역 선택(CRS) 알고리즘을 통해 단일 인스턴스 객체 제안을 식별함으로써, 다중 객체 박스에서 발생하는 오진을 크게 줄이고, VOC2007 및 VOC2012에서 최신 기법 대비 mAP를 최대 2.1%p 향상시킨다.

ABSTRACT

We introduce count-guided weakly supervised localization (C-WSL), an approach that uses per-class object count as a new form of supervision to improve weakly supervised localization (WSL). C-WSL uses a simple count-based region selection algorithm to select high-quality regions, each of which covers a single object instance during training, and improves existing WSL methods by training with the selected regions. To demonstrate the effectiveness of C-WSL, we integrate it into two WSL architectures and conduct extensive experiments on VOC2007 and VOC2012. Experimental results show that C-WSL leads to large improvements in WSL and that the proposed approach significantly outperforms the state-of-the-art methods. The results of annotation experiments on VOC2007 suggest that a modest extra time is needed to obtain per-class object counts compared to labeling only object categories in an image. Furthermore, we reduce the annotation time by more than $2 imes$ and $38 imes$ compared to center-click and bounding-box annotations.

연구 동기 및 목표

• 다수의 객체가 하나의 바운딩 박스로 묶이는 약한 감독 지역화에서 흔히 발생하는 실패 모드를 해결한다.
• 바운딩 박스 또는 중심 클릭 레이블링과 비교해 더 저렴한 대안인 각 클래스별 객체 수를 활용해 레이블링 비용을 절감한다.
• 수의 감독을 활용해 고품질의 단일 인스턴스 객체 제안을 선택함으로써 검출 성능을 향상시킨다.
• ADR 및 ODR와 같은 반복적 WSL 프레임워크에서 수의 감독이 검출기 개선에 크게 기여함을 보여준다.

제안 방법

• 각 클래스당 정확히 한 개의 인스턴스를 포함하는 영역을 선택하는 수기 기반 영역 선택(CRS) 알고리즘을 도입한다.
• C-WSL를 기존의 두 WSL 프레임워크인 교차 검출기 개선(ADR) 및 온라인 검출기 개선(ODR)에 통합하여 반복적 검출기 향상에 활용한다.
• 이미지 수준의 객체 수를 약한 감독 신호로 활용하여 영역 선택을 제약함으로써, 선택된 제안이 좁고 인스턴스 특화된 형태를 유지하도록 한다.
• 선택된 고품질 영역를 허위 진짜 레이블로 사용해 검출기를 훈련함으로써, 인스턴스 수준의 레이블 없이도 정밀도를 향상시킨다.
• 인간이 소수의 객체(1~4개)를 빠르게 세는 '즉시 인지 효과(subitizing effect)'를 활용해, 수의 레이블링이 저비용임을 정당화한다.
• ADR 및 ODR의 반복적 개선 프로세스를 적용하여, 수기 기반 영역 선택을 통해 점진적으로 검출 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 각 클래스의 객체 수는 약한 감독 지역화 성능 향상에 효과적이고 저비용인 감독 형태로 기능할 수 있는가?
• RQ2 수기 기반 영역 선택은 다수의 객체가 하나의 바운딩 박스로 묶이는 일반적인 실패 모드를 줄일 수 있는가?
• RQ3 최신 기준 WSL 기법과 비교했을 때, 수의 감독이 mAP 및 지역화 정확도에 어떤 영향을 미치는가?
• RQ4 중심 클릭 및 바운딩 박스 레이블링과 비교해 각 클래스의 객체 수 레이블링은 얼마나 많은 레이블링 비용이 드는가?
• RQ5 반복적 WSL 훈련에서 수의 감독은 수렴 속도를 얼마나 가속화하고 성능 향상에 기여하는가?

주요 결과

• C-WSL는 VOC2007에서 WSLPDA의 mAP를 17.9%에서 19.6%로 향상시켜 1.7%p 향상시켰다.
• C-WSL:OICR+ADR는 OICR의 mAP를 18.7%에서 20.1%로 향상시켜 1.4%p 향상시켰다.
• C-WSL:ODR+FRCNN는 VOC2007에서 mAP를 19.0%에서 20.0%로 향상시켜 다양한 아키텍처에서 일관된 성능 향상을 보였다.
• 수의 감독을 추가함으로써 WSLPDA의 mAP는 3.0%p, OICR의 mAP는 1.5%p 향상되어 강력한 기여도를 입증했다.
• 레이블링 실험 결과, 각 클래스별 객체 수 레이블링은 카테고리 레이블링에 비해 추가로 소요되는 시간이 매우 적었으며, 중심 클릭 레이블링 대비 2배 이상, 바운딩 박스 레이블링 대비 38배 이상 레이블링 시간을 단축시켰다.
• 'person' 카테고리처럼 WSL에서 특히 어려운 경우, 크기 기반 사전 필터링 단계와 C-WSL를 조합함으로써 AP를 20.3%에서 40.0%로 향상시켜, 추가 제약 조건이 더해질 경우 잠재적인 성능 향상 가능성을 보여주었다.