[논문 리뷰] Max-Margin Object Detection

Davis E. King|arXiv (Cornell University)|2015. 01. 31.

Advanced Image and Video Retrieval Techniques참고 문헌 18인용 수 81

한 줄 요약

이 논문은 최대 마진 객체 검출(MMOD)을 소개한다. MMOD는 계산적 제약으로 인해 부분 집합으로 샘플링되는 대신, 이미지 내 모든 가능한 슬라이딩 윈도우 위치를 직접 최적화하여 객체 검출기를 훈련시키는 볼록 최적화 프레임워크이다. 이는 상태 기준 성능을 달성하며, 특히 단일 고정형 HOG 필터를 MMOD로 훈련시켜 FDDB에서 복잡한 변형 가능한 부분 모델보다 뛰어난 성능을 내는 데 성공한다.

ABSTRACT

Most object detection methods operate by applying a binary classifier to sub-windows of an image, followed by a non-maximum suppression step where detections on overlapping sub-windows are removed. Since the number of possible sub-windows in even moderately sized image datasets is extremely large, the classifier is typically learned from only a subset of the windows. This avoids the computational difficulty of dealing with the entire set of sub-windows, however, as we will show in this paper, it leads to sub-optimal detector performance. In particular, the main contribution of this paper is the introduction of a new method, Max-Margin Object Detection (MMOD), for learning to detect objects in images. This method does not perform any sub-sampling, but instead optimizes over all sub-windows. MMOD can be used to improve any object detection method which is linear in the learned parameters, such as HOG or bag-of-visual-word models. Using this approach we show substantial performance gains on three publicly available datasets. Strikingly, we show that a single rigid HOG filter can outperform a state-of-the-art deformable part model on the Face Detection Data Set and Benchmark when the HOG filter is learned via MMOD.

연구 동기 및 목표

• 계산적 제약으로 인해 이미지 윈도우의 부분 집합으로만 훈련하는 전통적 객체 검출 방법의 비최적 성능 문제를 해결하기 위해.
• 샘플링된 윈도우에서 이진 분류기의 대체 지표에 의존하는 대신, 전체 검출 시스템의 정확도를 직접 최적화하여 잘못된 경고(false alarms)와 빠짐( missed detections)을 최소화하기 위해.
• 모든 가능한 슬라이딩 윈도우 위치(부분적으로 겹치는 경우 포함)를 효율적으로 처리할 수 있는 볼록 최적화 프레임워크를 개발하기 위해.
• 기본적인 특징 집합(예: HOG)을 사용하더라도 전체 데이터 최적화가 상당한 성능 향상에 기여함을 보여주기 위해.

제안 방법

• MMOD는 점수 함수 f(x,r)가 매개변수 w와 특징 φ(x,r)에 대해 선형인 구조적 예측 문제로 객체 검출을 공식화한다.
• 비최적화된 검출기 출력(비최대 억제 후)을 기반으로 잘못된 경고와 빠짐을 페널티로 삼는 손실 함수를 정의하며, 마진 기반 접근법을 사용한다.
• 비최대 억제 이후의 최종 검출기 출력을 고려하는 구조적 서포트 벡터 머신(SVM) 공식화를 사용하며, 개별 윈도우 예측만을 고려하는 것이 아니라 전체 검출기 성능을 최적화한다.
• 모든 윈도우(부분적으로 겹치는 윈도우 포함)에 대해 검출기 매개변수를 동시에 최적화하는 볼록 최적화 문제를 도입한다.
• 자르기 평면 방법을 사용하여 이중 최적화 문제를 효율적으로 해결함으로써, 샘플링 없이 모든 윈도우에서 훈련이 가능해진다.
• 프레임워크는 HOG나 시각어워드의 백본과 같은 선형 검출기와 호환되며, 적절한 특징 추출기만 삽입하면 적용 가능하다.

실험 결과

연구 질문

• RQ1 모든 가능한 이미지 윈도우(부분 집합이 아닌 전체)에서 훈련된 검출기가 기존 표준 방법보다 더 뛰어난 성능을 낼 수 있는가?
• RQ2 비최대 억제 이후의 최종 검출기 출력을 최적화하는 것이 개별 윈도우 분류를 최적화하는 것보다 더 높은 정확도를 달성하는가?
• RQ3 MMOD로 훈련된 단일 고정형 HOG 필터가 복잡한 변형 가능한 부분 모델을 능가할 수 있는가?
• RQ4 표준 훈련에서 일반적으로 기각되는 부분적으로 객체와 겹치는 윈도우는 MMOD가 어떻게 처리하는가?

주요 결과

• MMOD는 기본적인 특징 집합인 HOG를 사용하더라도, INRIA, TU Darmstadt 소고기, FDDB의 세 가지 공개 데이터셋에서 검출 정확도를 크게 향상시켰다.
• FDDB 벤치마크에서, MMOD로 훈련된 단일 고정형 HOG 필터가 최신 기술의 변형 가능한 부분 모델을 능가하며 더 높은 검출 정확도를 달성했다.
• 표준 방법이 효율적으로 처리할 수 없는 약 3억 개의 가능한 슬라이딩 윈도우 위치를 모두 활용함으로써, MMOD는 FDDB에서 뛰어난 성능을 달성했다.
• ROC 곡선은 MMOD로 훈련된 HOG 필터가 전통적인 SVM 기반 하드 음성 마이닝 및 Viola-Jones 방법보다 상당히 뛰어난 성능을 보임을 보여준다.
• 그림 5의 시각화와 그림 6의 검출 예시를 통해 확인된 바와 같이, MMOD로 학습된 HOG 필터는 기존 방법으로 훈련된 동일한 필터보다 더 정확한 검출을 제공한다.
• 계산적으로 실현 가능하며, FDDB에서 한 폴드당 약 25분이 소요되며, dlib 툴박스의 일부로 오픈소스로 제공된다.