[논문 리뷰] Unsupervised Hard Example Mining from Videos for Improved Object Detection

SouYoung Jin, Aruni RoyChowdhury외 5명|arXiv (Cornell University)|2018. 08. 13.

Video Surveillance and Tracking Methods참고 문헌 54인용 수 9

한 줄 요약

이 논문은 비정형 영상 데이터에서 일시적으로 고립된 검출 결과—즉, '검출기 깜빡임'(detector flickers)으로 불리는 현상—을 식별함으로써 레이블이 없는 영상 데이터로부터 어려운 음성 예외와 어려운 양성 예외를 비지도 학습 방식으로 추출하는 방법을 제안한다. 이러한 자동으로 수집된 어려운 예외로 객체 검출기를 재학습함으로써, 얼굴 및 보행자 검출을 포함한 다양한 데이터셋과 아키텍처에서 검출 성능이 크게 향상되며, MS-COCO에서 최대 1.5 AP 포인트의 향상이 이루어졌다.

ABSTRACT

Important gains have recently been obtained in object detection by using training objectives that focus on {\em hard negative} examples, i.e., negative examples that are currently rated as positive or ambiguous by the detector. These examples can strongly influence parameters when the network is trained to correct them. Unfortunately, they are often sparse in the training data, and are expensive to obtain. In this work, we show how large numbers of hard negatives can be obtained {\em automatically} by analyzing the output of a trained detector on video sequences. In particular, detections that are {\em isolated in time}, i.e., that have no associated preceding or following detections, are likely to be hard negatives. We describe simple procedures for mining large numbers of such hard negatives (and also hard {\em positives}) from unlabeled video data. Our experiments show that retraining detectors on these automatically obtained examples often significantly improves performance. We present experiments on multiple architectures and multiple data sets, including face detection, pedestrian detection and other object categories.

연구 동기 및 목표

• 객체 검출에서 수동으로 수집된 어려운 음성 예외의 부족성과 높은 비용 문제를 해결하기 위해.
• 영상 시퀀스와 사전 학습된 검출기를 활용한 비지도, 확장 가능한 어려운 예외 추출 방법을 개발하기 위해.
• 레이블이 없는 영상에서 자동으로 추출한 어려운 양성 및 음성 예외로 검출기를 미세조정함으로써 객체 검출기 성능을 향상시키기 위해.
• 다양한 객체 종류, 아키텍처, 벤치마크 데이터셋에 걸쳐 이 방법의 효과성을 입증하기 위해.

제안 방법

• 이웃 프레임에서 이전 또는 이후 검출이 없이 한 프레임에서만 나타나는 검출 결과—즉, '깜빡임'—을 식별함으로써 고립된 검출 결과를 탐지한다.
• 대규모 레이블이 없는 영상 데이터에 사전 학습된 객체 검출기를 적용하여 검출 결과를 생성한 후, 시간적 필터링을 적용하여 깜빡임을 추출한다.
• 시간적으로 고립된 검출 결과를 가짜 양성 예외(가짜 양성)로 간주하여 재학습에 활용한다.
• 기존 레이블이 있는 데이터와 추출한 어려운 예외의 결합을 표준 학습 프rotocol에 따라 검출기를 재학습한다.
• 여러 데이터셋(WIDER Face, Caltech Pedestrian, MS-COCO)과 아키텍처(Faster R-CNN, VGG16 기반 모델)에 이 방법을 적용한다.
• 검출 결과의 신뢰도 임계값(예: 0.8)을 사용하여 검출 결과를 필터링함으로써, 오직 고신뢰도 깜빡임만을 추출에 활용한다.

실험 결과

연구 질문

• RQ1 영상 시퀀스에서 시간적으로 고립된 검출 결과가 객체 검출기의 어려운 음성 예외를 신뢰성 있게 나타내는가?
• RQ2 레이블이 없는 영상에서 비지도로 어려운 예외를 추출하면 검출기 성능 향상이 측정 가능한가?
• RQ3 얼굴, 보행자, 개, 기차 등 다양한 객체 종류에서 이 방법의 효과는 어떠한가?
• RQ4 이 방법은 아키텍처 수정 없이도 다른 검출 아키텍처와 데이터셋으로 일반화 가능한가?

주요 결과

• WIDER Face 데이터셋에서, 추출한 어려운 음성 예외를 사용할 경우 AP가 1.5 포인트 향상되어 26.9에서 28.1로 상승하였다.
• Caltech Pedestrian 데이터셋에서, 추출한 어려운 음성 예외로 미세조정할 경우 AP가 1.5 포인트 향상되어 33.9에서 35.4로 상승하였다.
• MS-COCO에서, '개' 카테고리의 경우 테스트 세트에서 AP가 25.3에서 26.4로 향상되었고, '기차' 카테고리의 경우 33.2에서 33.7로 상승하였다.
• 이 방법은 얼굴, 보행자, 개, 기차 검출 작업을 포함한 다양한 아키텍처와 데이터셋에서 일관된 성능 향상을 달성하였다.
• 이 방법은 확장 가능하고 완전히 자동화되어 있어 수시간의 레이블이 없는 영상에서 수만 개의 어려운 예외를 추출할 수 있었다.
• YouTube 영상과 학습 데이터 사이의 도메인 차이가 상당히 존재하는 상황에서도 기준 모델을 능가하는 성능을 보이며, 분포 이질성에 대해 강건함을 시사한다.