[논문 리뷰] Localization-Aware Active Learning for Object Detection

Chieh-Chi Kao, Teng‐Yok Lee외 2명|arXiv (Cornell University)|2018. 01. 16.

Machine Learning and Algorithms인용 수 8

한 줄 요약

이 논문은 객체 검출을 위한 국소화 인식 활성 학습 프레임워크를 제안하며, 국소화 타이트니스(LT)와 국소화 안정성(LS)이라는 두 가지 신규 지표를 사용하여 가장 정보가 많은 미라벨링 이미지를 선택함으로써 데이터 효율성을 향상시킨다. 분류 및 국소화 불확실성을 모두 활성 학습 루프에 통합함으로써, 기준 활성 학습 대비 최대 25% 감소된 레이블링 데이터를 요구하며, PASCAL VOC 2007과 2012에서 각각 96.5% 및 81.9%의 상대적 성능 향상을 달성한다.

ABSTRACT

Active learning - a class of algorithms that iteratively searches for the most informative samples to include in a training dataset - has been shown to be effective at annotating data for image classification. However, the use of active learning for object detection is still largely unexplored as determining informativeness of an object-location hypothesis is more difficult. In this paper, we address this issue and present two metrics for measuring the informativeness of an object hypothesis, which allow us to leverage active learning to reduce the amount of annotated data needed to achieve a target object detection performance. Our first metric measures 'localization tightness' of an object hypothesis, which is based on the overlapping ratio between the region proposal and the final prediction. Our second metric measures 'localization stability' of an object hypothesis, which is based on the variation of predicted object locations when input images are corrupted by noise. Our experimental results show that by augmenting a conventional active-learning algorithm designed for classification with the proposed metrics, the amount of labeled training data required can be reduced up to 25%. Moreover, on PASCAL 2007 and 2012 datasets our localization-stability method has an average relative improvement of 96.5% and 81.9% over the baseline method using classification only.

연구 동기 및 목표

• 객체 검출 분야에서 효과적인 활성 학습 방법이 부족한 문제를 해결하기 위해, 기존에 분류 불확실성에만 초점을 맞춘 전통적인 접근 방식을 개선하고자 한다.
• 실제 바운딩 박스가 없더라도 국소화 불확실성을 평가할 수 있는 정량적 지표를 개발하고자 한다.
• 레이블링을 위한 데이터 수집 비용과 노력을 줄이기 위해, 가장 정보가 많은 이미지들을 선별함으로써 레이블링 대상으로 선정하고자 한다.
• 분류 불확실성과 국소화 불확실성을 동시에 고려할 경우, 더 적은 레이블링 예제로도 더 나은 모델 성능을 달성할 수 있음을 입증하고자 한다.
• 기존의 접근 방식에 비해 뚜렷한 성능 향상을 보이는지 확인하기 위해, PASCAL VOC 2007과 2012와 같은 표준 벤치마크에서 제안된 방법을 검증하고자 한다.

제안 방법

• 객체 검출기의 영역 제안과 최종 검출 박스 간의 겹침 비율에 기반한 국소화 타이트니스(LT)를 지표로 제안하며, 검출기가 객체를 얼마나 타이트하게 국소화하는지 추정한다.
• 입력 이미지에 가우시안 노이즈를 도입했을 때의 바운딩 박스 변동성을 측정하여 검출기의 강건성을 평가하는 국소화 안정성(LS)을 지표로 도입한다.
• LT와 LS를 활성 학습 파이프라인에 통합하여, 분류 및 국소화 양쪽의 불확실성 합산 기반으로 미라벨링 이미지를 선별하고 레이블링 대상으로 선정한다.
• 기본 객체 검출기(예: Faster R-CNN)를 사용하여 예측을 생성하고, 미라벨링 이미지의 불확실성 점수를 계산한다.
• 불확실성 점수를 활용해 이미지를 순위 매기고 우선순위를 정하여 인간 레이블링을 수행하며, 반복적으로 검출기를 향상시킨다.
• 명시적인 영역 제안 단계를 가진 검출기에도 적용 가능한, 제안-그런 다음 분류 파이프라인을 활용해 국소화 타이트니스를 추정한다.

실험 결과

연구 질문

• RQ1 실제 바운딩 박스에 접근할 수 없더라도, 객체 검출에서 국소화 불확실성을 정량적으로 측정할 수 있는가?
• RQ2 분류 불확실성 전용 방법에 비해 국소화 불확실성을 통합할 경우, 활성 학습 성능이 어떻게 향상되는가?
• RQ3 제안된 지표인 국소화 타이트니스와 국소화 안정성이 레이블링이 필요한 이미지 수를 얼마나 줄일 수 있는가?
• RQ4 제안된 방법이 표준 객체 검출 벤치마크에서 수동 학습 및 분류 전용 활성 학습 기준선을 초월하는가?
• RQ5 국소화 제안 품질의 변동성과 노이즈에 대해 제안된 지표는 얼마나 강건한가?

주요 결과

• 제안된 방법은 목표 검출 성능에 도달하기 위해 필요한 레이블링 이미지 수를 수동 학습 대비 최대 25% 감소시킨다.
• PASCAL VOC 2007 데이터셋에서 국소화 안정성 기반 방법(LS+C)은 분류 전용 기준선 대비 96.5%의 상대적 성능 향상을 달성한다.
• PASCAL VOC 2012 데이터셋에서 LS+C 방법은 분류 전용 기준선 대비 81.9%의 상대적 성능 향상을 달성한다.
• 국소화 타이트니스와 분류 불확실성의 조합(LT+C)은 기준 활성 학습 방법 대비 레이블링 비용을 12~22% 감소시킨다.
• 실제 국소화 레이블이 제공되지 않더라도 방법이 효과를 발휘하며, 특히 제안 영역이 최종 검출 박스에 가까울 경우 추정된 국소화 타이트니스가 진짜 값과 합리적으로 상관관계를 보인다.
• 메트릭 계산에 따른 계산 오버헤드는 레이블링에서 절약되는 시간에 비해 매우 작아, 추가적인 복잡성에도 불구하고 비용 효율적인 접근이다.