[논문 리뷰] Training object class detectors with click supervision

Dim P. Papadopoulos, Jasper Uijlings외 2명|arXiv (Cornell University)|2017. 04. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 64인용 수 15

한 줄 요약

이 논문은 객체 검출기 훈련을 위한 바운딩 박스 주석 대신 객체 중심을 클릭하는 중심 클릭 주석(center-click annotation)을 제안한다. 이는 빠르고 노력이 적은 대안이다. 중심 클릭을 다중 예제 학습(Multiple Instance Learning, MIL) 프레임워크에 통합함으로써, 전체 주석 시간을 수동 바운딩 박스 레이블링 대비 9배에서 18배 감소시키면서도 완전 지도 학습 모델에 가까운 검출기 성능을 달성한다.

ABSTRACT

Training object class detectors typically requires a large set of images with objects annotated by bounding boxes. However, manually drawing bounding boxes is very time consuming. In this paper we greatly reduce annotation time by proposing center-click annotations: we ask annotators to click on the center of an imaginary bounding box which tightly encloses the object instance. We then incorporate these clicks into existing Multiple Instance Learning techniques for weakly supervised object localization, to jointly localize object bounding boxes over all training images. Extensive experiments on PASCAL VOC 2007 and MS COCO show that: (1) our scheme delivers high-quality detectors, performing substantially better than those produced by weakly supervised techniques, with a modest extra annotation effort; (2) these detectors in fact perform in a range close to those trained from manually drawn bounding boxes; (3) as the center-click task is very fast, our scheme reduces total annotation time by 9x to 18x.

연구 동기 및 목표

• 객체 검출기 훈련의 높은 주석 비용을 줄이기 위해 시간이 오래 걸리는 바운딩 박스 레이블링을 더 빠르고 단순한 중심 클릭 주석으로 대체한다.
• 약한 지도 학습과 완전 지도 학습 간의 성능 격차를 해소하기 위해 중심 클릭을 통해 더 정보가 풍부한 약한 지도 신호를 도입한다.
• 최소한의 훈련과 높은 정확도를 갖춘 아마존 메카니컬 터크 같은 군중 주석 플랫폼을 활용해 효율적이고 확장 가능한 데이터 수집을 가능하게 한다.
• 클릭 기반의 객체 중심과 크기 추정을 활용해 약한 지도 학습 객체 검출에서 국소화 정확도를 향상시킨다.
• 동일한 주석 예산 조건에서 중심 클릭 주석이 기존의 약한 지도 학습 방법보다 우수한 성능을 보임을 입증한다. 이는 인간 검증 기반의 제안서 검증을 포함한다.

제안 방법

• 군중 작업자들에게 각 객체 인스턴스를 둘러싸는 상상 속 바운딩 박스의 중심을 클릭하도록 요청하여 중심 클릭 주석을 수집한다.
• 실제 진짜 바운딩 박스가 필요 없이 실제 주석자 오류 및 모델 오류 분포를 시뮬레이션하기 위해 훈련 단계에서 합성 다각형을 사용한다.
• 독립적으로 클릭된 중심 간의 거리에서 객체 크기를 추정하며, 클릭 오류와 객체 크기 간의 상관관계를 활용한다.
• 모든 훈련 이미지에서 객체 바운딩 박스를 동시에 국소화하기 위해 중심 클릭을 다중 예제 학습(Multiple Instance Learning, MIL) 프레임워크에 통합한다.
• MIL의 재국소화 단계 동안 클릭에서 유도된 객체 중심과 크기 추정치를 사전(prior)으로 사용하여 더 정확한 바운딩 박스 선택을 유도한다.
• 합성 데이터에서 학습된 오류 모델을 활용해 MS COCO에 실제 클릭 수집 없이도 현실적인 클릭 노이즈를 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 중심 클릭 주석은 객체 검출에서 높은 검출기 성능를 유지하면서도 주석 시간을 크게 줄일 수 있는가?
• RQ2 이미지 수준 레이블만 사용하는 약한 지도 학습 방법과 비교해 중심 클릭 주석은 국소화 및 검출 정확도 측면에서 어떻게 성능을 내는가?
• RQ3 두 개의 독립된 중심 클릭 간의 거리로 객체 크기를 신뢰성 있게 추정할 수 있으며, 이는 진짜 바운딩 박스가 없는 상황에서 국소화 성능 향상에 기여하는가?
• RQ4 동일한 주석 예산 조건에서 중심 클릭 주석은 최근의 인간 검증 기반 약한 지도 학습 방법보다 성능이 뛰어나게 되는가?
• RQ5 합성 다각형 기반 오류 모델링이 실제 세계의 클릭 데이터에 대해 훈련 및 평가에 일반화될 정도로 얼마나 잘 작동하는가?

주요 결과

• 중심 클릭 주석은 수동 바운딩 박스 레이블링 대비 총 주석 시간을 9배에서 18배 감소시키며, 객체당 중앙값 주석 시간은 1.9초이다.
• PASCAL VOC 2007에서 이 방법은 67.2%의 CorLoc를 달성했으며, 이는 약한 지도 학습 MIL보다 11.7% 높고 완전 지도 학습 검출기 성능에 가깝다.
• MS COCO에서 시뮬레이션된 두 클릭 접근 방식은 58.6%의 CorLoc와 19.3%의 mAP를 기록했으며, 동일한 250시간 주석 예산 조건에서 인간 검증 방법 [46]보다 +16%의 CorLoc와 +4%의 mAP를 기록했다.
• 기본 약한 지도 학습 기반 방법들보다 성능이 뛰어나다: 무작위 클릭은 오직 43.4%의 CorLoc를 기록하고, '어디서나 클릭'은 55.5%의 CorLoc를 기록하지만, 중심 클릭은 VOC 2007에서 67.2%의 CorLoc를 기록한다.
• 동일한 인간 노동량을 사용할 경우 중심 클릭 주석은 표준 약한 지도 학습 대비 CorLoc에서 10% 이상 성능 향상을 이룬다.
• 중심 클릭 주석의 성능는 강건하고 일반화 가능하며, COCO에 대한 시뮬레이션 클릭 결과에서 한 번 클릭 시 51.8%의 CorLoc, 두 번 클릭 시 58.6%의 CorLoc를 기록했고, 이는 기본 MIL(24.2% CorLoc)보다 뚜렷이 뛰어나다.