[논문 리뷰] Adaptive Feeding: Achieving Fast and Accurate Detections by Adaptively Combining Object Detectors

Hong-Yu Zhou, Bin-Bin Gao외 1명|arXiv (Cornell University)|2017. 07. 20.

Advanced Neural Network Applications참고 문헌 29인용 수 9

한 줄 요약

이 논문은 이미지의 난이도에 따라 빠르지만 정확도가 낮은 객체 검출기와 정확도는 높지만 느린 검출기 사이에서 동적으로 전환하는 Adaptive Feeding (AF)를 제안한다. 이로써 빠른 속도와 높은 정확도를 동시에 달성한다. 쉽게 처리할 수 있는 이미지는 경량 분류기를 통해 빠른 검출기로, 어려운 이미지는 정확한 검출기로 라우팅함으로써 AF는 빠른 검출기 수준의 속도와 느린 검출기 수준의 정확도를 확보하며, 추가 학습 데이터가 필요 없고 학습 오버헤드도 극히 적다.

ABSTRACT

Object detection aims at high speed and accuracy simultaneously. However, fast models are usually less accurate, while accurate models cannot satisfy our need for speed. A fast model can be 10 times faster but 50\% less accurate than an accurate model. In this paper, we propose Adaptive Feeding (AF) to combine a fast (but less accurate) detector and an accurate (but slow) detector, by adaptively determining whether an image is easy or hard and choosing an appropriate detector for it. In practice, we build a cascade of detectors, including the AF classifier which make the easy vs. hard decision and the two detectors. The AF classifier can be tuned to obtain different tradeoff between speed and accuracy, which has negligible training time and requires no additional training data. Experimental results on the PASCAL VOC, MS COCO and Caltech Pedestrian datasets confirm that AF has the ability to achieve comparable speed as the fast detector and comparable accuracy as the accurate one at the same time. As an example, by combining the fast SSD300 with the accurate SSD500 detector, AF leads to 50\% speedup over SSD500 with the same precision on the VOC2007 test set.

연구 동기 및 목표

• 빠른 모델은 정확도를 희생하고, 정확한 모델은 실시간 사용에 부적합한 객체 검출의 속도-정확도 간의 본질적 트레이드오프를 해결한다.
• 재학습이나 기존 검출기의 수정 없이도 추론 시점에서 이미지 복잡도에 맞게 동적으로 모델을 선택할 수 있도록 한다.
• 빠른 검출기와 정확한 검출기를 적응형 라우팅을 통해 조합함으로써, 개별 검출기보다 우수한 속도-정확도 균형을 달성한다.
• 기존에 미리 학습된 모델을 활용하고 경량 라우팅 분류기를 사용함으로써 추가 애너테이션 데이터가 필요 없고 학습 오버헤드를 최소화한다.

제안 방법

• 빠른 검출기(예: SSD300), 정확한 검출기(예: SSD500), 그리고 이미지 난이도를 판단하는 Adaptive Feeding (AF) 분류기를 포함한 캐스케이드 검출기 파이프라인을 구축한다.
• 이미지 난이도를 구분하기 위해 불균형 학습 프레임워크를 사용하여 '쉬운'(빠른 검출기에 적합함) 이미지와 '어려운'(정확한 검출기가 필요함) 이미지를 분류하는 AF 분류기를 학습한다.
• 빠른 검출기의 상위-k 제안 영역에서 특징을 추출하여 AF 분류기의 입력으로 사용하며, 신뢰도 점수와 제안 영역 기하학적 특성 등을 핵심 신호로 활용한다.
• 라우팅 결정을 효율적으로 내리기 위해 빠른 검출기 출력에서 추출한 특징을 기반으로 선형 SVM을 AF 분류기로 사용한다.
• AF 분류기의 예측 결과에 따라 각 테스트 이미지를 빠른 검출기 또는 정확한 검출기 중 하나로 라우팅함으로써 적응형 추론을 구현한다.
• 불균형 학습 설정에서 샘플링 가중치를 조정함으로써 재학습 없이도 속도와 정확도 간의 조정 가능한 균형을 달성할 수 있다.

실험 결과

연구 질문

• RQ1 경량 분류기가 쉬운 이미지와 어려운 이미지를 효과적으로 구분하여 적절한 검출기로 라우팅할 수 있는가?
• RQ2 적응형 라우팅을 통해 빠른 검출기와 정확한 검출기를 조합하면 전체적인 속도-정확도 트레이드오프가 얼마나 향상되는가?
• RQ3 제안된 방법은 개별 검출기 학습과 비교해 추가 학습 데이터가 필요하거나 상당한 학습 오버헤드를 유발하는가?
• RQ4 여러 벤치마크에서 개별 검출기와 비교해 적응형 시스템의 성능은 속도와 정확도 측면에서 어떻게 나타나는가?
• RQ5 아키텍처 수정 없이도 다양한 검출기 아키텍처와 데이터셋에 일반화 가능한가?

주요 결과

• PASCAL VOC2007 테스트 세트에서 AF는 SSD300과 SSD500을 조합해 SSD500 대비 50%의 속도 향상을 달성했으며, 평균 정밀도(mAP)는 동일하게 유지했다.
• AF는 SSD500 수준의 정확도(74.9% mAP)와 SSD300 수준의 속도(46 FPS)를 확보하여 균형 잡힌 속도-정확도 트레이드오프를 보였다.
• MS COCO 데이터셋에서 AF 시스템은 높은 정확도(72.1% mAP)를 유지하면서도 SSD300 수준의 속도를 기록해, 두 개별 모델보다 통합 효율성이 뛰어났다.
• Caltech Pedestrian 데이터셋에서 RPN과 CompACT-Deep를 사용한 AF는 CompACT-Deep 대비 67%의 속도 향상을 기록했으며(3 FPS → 5 FPS), 놓침률 증가율은 오직 0.5%에 불과했다.
• AF 분류기에서 가장 영향력 있는 특징은 상위-k 제안 영역의 신뢰도였으며, 이는 높은 신뢰도의 제안 영역이 많은 이미지는 '어려운' 이미지로 분류될 가능성이 높다는 것을 시사한다.
• 이 방법은 추가 학습 데이터가 필요 없고 라우팅 분류기의 학습 시간이 극히 짧아 다양한 데이터셋과 검출기 조합에 대해 강건하게 작동한다.