[논문 리뷰] WSSOD: A New Pipeline for Weakly- and Semi-Supervised Object Detection

Shijie Fang, Yuhang Cao외 4명|arXiv (Cornell University)|2021. 05. 21.

Advanced Neural Network Applications참고 문헌 39인용 수 5

한 줄 요약

이 논문은 소량의 완전히 애너테이션된 데이터와 풍부한 약한 애너테이션 이미지(이미지 수준 레이블만 존재)를 동시에 활용하는 새로운 이중 단계 약한-준감독 객체 검출 프레임워크인 WSSOD를 제안한다. 전역 분류 손실과 레이블 주의 모듈을 사용해 두 가지 데이터 유형에서 에이전트 검출기를 훈련한 후, 무작위 가짜 레이블 샘플링(RPS) 전략을 통해 고품질의 가짜 바운딩 박스를 생성함으로써, WSSOD는 COCO에서 전체 애너테이션의 30%만으로도 36.1% mAP를 달성했으며, 이는 완전히 감독된 훈련의 37.6% mAP에 거의 근접한 성능이다.

ABSTRACT

The performance of object detection, to a great extent, depends on the availability of large annotated datasets. To alleviate the annotation cost, the research community has explored a number of ways to exploit unlabeled or weakly labeled data. However, such efforts have met with limited success so far. In this work, we revisit the problem with a pragmatic standpoint, trying to explore a new balance between detection performance and annotation cost by jointly exploiting fully and weakly annotated data. Specifically, we propose a weakly- and semi-supervised object detection framework (WSSOD), which involves a two-stage learning procedure. An agent detector is first trained on a joint dataset and then used to predict pseudo bounding boxes on weakly-annotated images. The underlying assumptions in the current as well as common semi-supervised pipelines are also carefully examined under a unified EM formulation. On top of this framework, weakly-supervised loss (WSL), label attention and random pseudo-label sampling (RPS) strategies are introduced to relax these assumptions, bringing additional improvement on the efficacy of the detection pipeline. The proposed framework demonstrates remarkable performance on PASCAL-VOC and MSCOCO benchmark, achieving a high performance comparable to those obtained in fully-supervised settings, with only one third of the annotations.

연구 동기 및 목표

• 제한된 완전히 애너테이션된 데이터와 풍부한 약한 애너테이션 데이터를 동시에 활용하여 완전히 감독된 학습과 약한-준감독 학습 간의 성능 격차를 해소하는 것.
• 기존의 고정 임계값 기반 레이블 생성 방식의 가정을 완화함으로써 준감독 설정에서의 가짜 레이블 품질을 향상시키는 것.
• 약한-준감독 검출에 대한 통합된 EM 프레임워크 내에서 더 견고하고 이론적으로 탄탄한 훈련 파이프라인을 개발하는 것.
• 개선된 모델 초기화 및 가짜 레이블 정제를 통해 애너테이션 비용을 최소화하면서도 검출 성능을 극대화하는 것.

제안 방법

• 이중 단계 EM 기반 파이프라인을 제안: 첫 번째 단계에서 완전히 애너테이션된 데이터와 약한 애너테이션 데이터 양쪽 모두를 사용해 숨겨진 바운딩 박스 사후확률을 추정하는 에이전트 검출기를 훈련한다.
• 1단계에서 약한 애너테이션 데이터를 활용하기 위해 전역 분류 손실을 사용함으로써, 에이전트 검출기 성능이 완전히 감독 기반 모델을 초월한다.
• 제안된 레이블 주의 모듈은 제안된 영역 내에서 맥락과 카테고리 간 관계를 모델링함으로써 특징 표현을 향상시킨다.
• 고정 임계값 가정을 피하기 위해 설계된 무작위 가짜 레이블 샘플링(RPS) 모듈은 예측 확률에서 직접적으로 샘플링하여 더 신뢰할 수 있는 가짜 레이블을 생성한다.
• 2단계에서 타겟 검출기는 완전히 애너테이션된 데이터와 가짜로 레이블이 부여된 약한 애너테이션 데이터를 기반으로 훈련되며, EM 프레임워크 하에서 공동 가능도를 최대화한다.
• 프레임워크는 PASCOCO 및 VOC 벤치마크에서 검증되었으며, 최소한의 애너테이션 비용으로도 강력한 일반화 성능을 보였다.

실험 결과

연구 질문

• RQ1 숨겨진 바운딩 박스 사후확률을 더 정확히 추정함으로써 통합된 EM 프레임워크가 약한-준감독 객체 검출의 신뢰성과 성능을 향상시킬 수 있는가?
• RQ2 1단계에서 완전히 애너테이션된 데이터와 약한 애너테이션 데이터를 함께 훈련함으로써 에이전트 검출기가 정확한 가짜 레이블을 생성하는 능력이 향상되는가?
• RQ3 전역 분류 손실과 레이블 주의 모듈이 완전히 감독 기반 모델 대비 에이전트 검출기 성능을 얼마나 향상시킬 수 있는가?
• RQ4 무작위 가짜 레이블 샘플링(RPS)이 고정 임계값 기반 가짜 레이블링 대비 검출 정확도와 견고성 측면에서 우월한가?
• RQ5 제안된 WSSOD 파이프라인이 전체 애너테이션의 일부만으로도 감독 학습 수준의 성능을 달성할 수 있는가?

주요 결과

• 전역 분류 손실과 레이블 주의 모듈을 사용해 훈련한 에이전트 검출기는 COCO에서 10% 애너테이션 프로토콜 하에 28.9% mAP를 기록했으며, 동일한 훈련 반복 수에서 완전히 감독 기반 모델보다 4.8% 높은 성능을 보였다.
• 타겟 검출기는 COCO에서 전체 애너테이션의 30%만으로도 36.1% mAP를 달성했으며, 이는 완전히 감독 기반 모델의 37.6% mAP에 거의 근접한 성능이다.
• PASCOCO에서 WSSOD 파이프라인은 78.9% AP를 기록했으며, 완전히 애너테이션된 기반 모델보다 0.9% 뒤처졌지만, 최소한의 애너테이션 비용으로도 뛰어난 성능을 보였다.
• RPS 모듈은 COCO 및 VOC 데이터셋 전반에서 고정 임계값 기반 가짜 레이블링을 능가했으며, 설정에 따라 0.2–3.2% mAP의 향상이 있었다.
• 제거 분석 결과, 전역 분류 손실과 레이블 주의 모듈이 함께 작용할 경우 COCO에서 10% 프로토콜 하에 4.8% mAP 향상이 이루어졌음을 확인했다.
• 제안된 방법은 수동 애너테이션에 대한 의존도를 크게 줄이며 높은 검출 정확도를 유지함으로써, 실생활 산업 응용에 실현 가능하다.