[논문 리뷰] Cost-effective Object Detection: Active Sample Mining with Switchable Selection Criteria

Keze Wang, Liang Lin외 4명|arXiv (Cornell University)|2018. 06. 30.

Machine Learning and Algorithms인용 수 7

한 줄 요약

이 논문은 예측 신뢰도와 불확실성 기반으로 비라벨 데이터 샘플을 활성 학습(인간 주석) 또는 자기 학습(가짜 라벨링) 중 하나로 동적으로 선택하는 비용 효율적인 활성 샘플 마이닝(ASM) 프레임워크를 제안한다. 미니배치 학습과 함께 스위치 가능한 선택 기준을 통합함으로써, PASCAL VOC 2007/2012 벤치마크에서 완전히 지도 학습 모델과 비교할 만한 검출 성능를 달성하면서도 주석 비용을 최대 50%까지 절감한다.

ABSTRACT

Though quite challenging, leveraging large-scale unlabeled or partially labeled data in learning systems (e.g., model/classifier training) has attracted increasing attentions due to its fundamental importance. To address this problem, many active learning (AL) methods have been proposed that employ up-to-date detectors to retrieve representative minority samples according to predefined confidence or uncertainty thresholds. However, these AL methods cause the detectors to ignore the remaining majority samples (i.e., those with low uncertainty or high prediction confidence). In this work, by developing a principled active sample mining (ASM) framework, we demonstrate that cost-effectively mining samples from these unlabeled majority data is key to training more powerful object detectors while minimizing user effort. Specifically, our ASM framework involves a switchable sample selection mechanism for determining whether an unlabeled sample should be manually annotated via AL or automatically pseudo-labeled via a novel self-learning process. The proposed process can be compatible with mini-batch based training (i.e., using a batch of unlabeled or partially labeled data as a one-time input) for object detection. In addition, a few samples with low-confidence predictions are selected and annotated via AL. Notably, our method is suitable for object categories that are not seen in the unlabeled data during the learning process. Extensive experiments clearly demonstrate that our ASM framework can achieve performance comparable to that of alternative methods but with significantly fewer annotations.

연구 동기 및 목표

• 대규모 비라벨 데이터를 효과적으로 활용하여 객체 검출의 높은 주석 비용을 줄이기.
• 희귀한 하드 예제가 존재하는 긴 꼬리 분포 데이터에서 정보성 있는 샘플을 식별하는 문제를 해결하기.
• 학습 데이터 내 노이즈 또는 이방성 샘플로 인한 성능 저하를 최소화하기.
• 최적의 효율성을 확보하기 위해 인간 주석과 자동화된 가짜 라벨링을 균형 있게 조합하는 하이브리드 주석 전략 개발하기.
• 초기 학습 시 비라벨 데이터에 존재하지 않는 객체 카테고리에 대해서도 효과적인 학습을 가능하게 하기.

제안 방법

• ASM 프레임워크는 예측 신뢰도와 불확실성 기반으로 샘플을 활성 학습(인간 주석) 또는 자기 학습(가짜 라벨링)으로 보낼지 결정하는 스위치 가능한 선택 메커니즘을 사용한다.
• 활성 학습(AL)과 자기 학습(SL) 손실을 결합한 동시 최적화 목표 함수를 사용하며, 하이퍼파ram터 γ에 의해 제어되는 임계값 메커니즘이 적용된다.
• 비라벨 객체 제안서의 각 배치에 대해 검출기는 클래스 점수와 신뢰도를 예측하며, 이를 바탕으로 AL 및 SL 구성 요소의 선택 점수를 계산한다.
• 이 방법은 높은 신뢰도를 가진 샘플에 대해 자기 학습 과정을 통해 동적으로 가짜 라벨를 할당하는 반면, 낮은 신뢰도 샘플은 인간 주석을 위해 선택된다.
• 프레임워크는 미니배치 학습과 호환되며, 인간 주석된 샘플과 가짜 라벨된 샘플을 모두 활용해 검출기의 반복적 개선을 지원한다.
• 이론적 분석을 통해 선택 메커니즘이 수렴함을 증명하였으며, 라벨 신뢰도와 임계값 조건에 따라 샘플이 AL 또는 SL로 정확히 라우팅됨을 보여준다.

실험 결과

연구 질문

• RQ1 하이브리드 활성 학습 및 자기 학습 프레임워크가 검출 성능을 저하시키지 않고 주석 비용을 줄일 수 있는가?
• RQ2 신뢰도와 불확실성 기반으로 비라벨 샘플을 인간 주석과 가짜 라벨링 간에 동적으로 라우팅할 수 있는가?
• RQ3 학습 중 비라벨 데이터에 존재하지 않는 객체 카테고리로부터도 효과적으로 학습할 수 있는가?
• RQ4 스위치 가능한 선택 메커니즘이 고정 전략에 비해 주석 효율성과 모델 정확도 측면에서 뛰어나게 작용하는가?
• RQ5 비라벨 데이터 내 노이즈 또는 이방성 샘플을 어떻게 처리하는가?

주요 결과

• ASM 프레임워크는 PASCAL VOC 2007 및 2012 벤치마크에서 완전히 지도 학습 모델과 비교할 만한 검출 성능를 달성하며, 인간 주석 샘플 수가 상당히 줄어든 상태에서도 성능을 유지한다.
• 기본 활성 학습 방법 대비 최대 50%까지 주석 비용을 절감하면서도 평균 평균 정밀도(mAP)를 유지하거나 향상시킨다.
• 스위치 가능한 선택 메커니즘은 특히 낮은 신뢰도를 가진 하드 예제와 같은 정보성 있는 샘플을 효과적으로 식별하고 인간 주석을 위해 우선순위를 정한다.
• 높은 신뢰도 샘플에 대한 가짜 라벨링은 모델 일반화 능력을 향상시키고 인간 주석 의존도를 감소시킨다.
• 저신뢰도 예측을 학습 중에 필터링함으로써 노이즈 샘플에 대해 강건함을 입증하였으며, 이는 성능 향상으로 이어졌다.
• 이론적 분석을 통해 선택 메커니즘이 라벨 신뢰도와 임계값 파라미터에 따라 최적의 샘플 라우팅으로 수렴함을 확인하였다.