[논문 리뷰] Active learning with version spaces for object detection

Soumya Roy, Vinay P. Namboodiri외 1명|arXiv (Cornell University)|2016. 11. 22.

Machine Learning and Algorithms참고 문헌 55인용 수 4

한 줄 요약

이 논문은 객체 검출을 위한 버전 스페이스 기반 활성 학습 방법을 제안하며, annotation을 위해 가장 정보가 많은 이미지를 선택함으로써 레이블링 노력을 크게 줄입니다. 객체 검출을 '특징의 차이' 공간에서 구조적 회귀 문제로 모델링함으로써, 전체 레이블링 데이터의 20%만으로도 완전한 supervision 성능의 95% 이상을 달성하며, 엔트로피 및 마진 샘플링과 같은 불확실성 기반 기준보다 뛰어난 성능을 보입니다.

ABSTRACT

Given an image, we would like to learn to detect objects belonging to particular object categories. Common object detection methods train on large annotated datasets which are annotated in terms of bounding boxes that contain the object of interest. Previous works on object detection model the problem as a structured regression problem which ranks the correct bounding boxes more than the background ones. In this paper we develop algorithms which actively obtain annotations from human annotators for a small set of images, instead of all images, thereby reducing the annotation effort. Towards this goal, we make the following contributions: 1. We develop a principled version space based active learning method that solves for object detection as a structured prediction problem in a weakly supervised setting 2. We also propose two variants of the margin sampling strategy 3. We analyse the results on standard object detection benchmarks that show that with only 20% of the data we can obtain more than 95% of the localization accuracy of full supervision. Our methods outperform random sampling and the classical uncertainty-based active learning algorithms like entropy

연구 동기 및 목표

• 인간 레이블링을 위한 가장 정보가 많은 이미지만 선택하여 객체 검출의 annotation 비용을 줄이기.
• 객체 검출과 같은 구조적 예측 작업에 대해 원칙적인 활성 학습 방법의 부족을 해결하기.
• 불확실성 기반 방법에서 흔히 발생하는 샘플링 편향을 피할 수 있는 이론적으로 탄탄한 활성 학습 프레임워크 개발하기.
• 고영향도 이미지를 식별하여 감독 미세조정을 위한 효율적인 준지도 학습 객체 검출을 가능하게 하기.
• 버전 스페이스 기반 질의가 최소한의 레이블 데이터로도 일반화 및 정렬 정확도를 향상시킨다는 것을 입증하기.

제안 방법

• 구조적 서포트 벡터 머신(Structured Support Vector Machine, SSVM)을 사용하여 객체 검출을 구조적 회귀 문제로 모델링하기.
• 각 이미지의 후보 바운딩 박스를 특징 벡터의 차이로 표현하여 버전 스페이스 표현을 가능하게 하기.
• 문헌 [38]의 버전 스페이스 활성 학습 프레임워크를 구조적 예측을 위해 '특징의 차이' 공간에 적용하기.
• 버전 스페이스 불확실성 감소를 최대화하는 두 가지 새로운 마진 샘플링 변형(APT 및 OPT) 설계하기.
• 버전 스페이스 크기를 가장 크게 줄이는 이미지를 선택하는 질의 함수를 사용하여 높은 정보량 확보하기.
• Caffe 기반 특징과 통합하여 딥러닝 파ipeline와의 호환성 입증하기.

실험 결과

연구 질문

• RQ1 버전 스페이스 기반 활성 학습은 객체 검출과 같은 구조적 예측 문제에 효과적으로 적용될 수 있는가?
• RQ2 엔트로피 및 마진 샘플링과 같은 불확실성 기반 방법과 비교할 때, 버전 스페이스 기반 활성 학습은 객체 검출에서 어떻게 성능을 내는가?
• RQ3 활성 학습은 얼마나 많은 annotation 노력을 줄일 수 있으며, 동시에 높은 검출 정확도를 유지할 수 있는가?
• RQ4 질의 전략은 객체 검출에서 수렴 속도와 이상치에 대한 강건성에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 딥 레이어 특징과 준지도 학습 프레임워크와 함께 확장 가능할 수 있는가?

주요 결과

• APT 방법은 PASCAL VOC2007에서 전체 supervision 성능의 95% 이상을 20%의 훈련 데이터로 달성합니다.
• '모터사이클' 및 '자전거' 클래스와 같은 경우 APT는 전체 supervision 성능을 초월하며, 강력한 일반화 능력과 고품질의 질의 선택을 보여줍니다.
• '의자' 및 '병'과 같은 도전적인 클래스에서는 APT가 평균 87%의 정확도를 유지하며, 엔트로피(89.4%) 및 마진 샘플링(87.4%)보다 평균적으로 뛰어난 성능을 보입니다.
• 질의 시퀀스에서 초록 테두리(영향력 있는) 이미지들은 뚜렷한 정확도 향상을 가져왔고, 빨간 테두리(이상치) 이미지들은 정확도 하락을 유도하여, 방법의 데이터 품질에 대한 민감도를 보여줍니다.
• 엔트로피, 마진 샘플링, MSM과 같은 기준 기반 활성 학습 전략보다 특히 저자료 환경에서 뛰어난 성능을 보입니다.
• 더 쉬운 TU Graz-02 데이터셋에서는 모든 방법이 10%의 데이터로 전체 supervision 성능의 >90%를 달성했지만, APT는 다양한 환경에서 경쟁력 있고 강건한 성능을 유지했습니다.