[논문 리뷰] Center and Scale Prediction: Anchor-free Approach for Pedestrian and Face Detection

Wei Liu, Irtiza Hasan외 1명|arXiv (Cornell University)|2019. 04. 05.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 중심점 및 크기 예측을 통한 앵커프리 객체 검출 방법인 Center and Scale Prediction (CSP)을 제안한다. 이 방법은 완전 컨volution 네트워크를 사용하여 보행자 및 얼굴 검출 문제를 중심점과 크기 회귀의 통합 작업으로 공식화한다. '어디에' 있는지와 '얼마나 큰지'의 하위 문제를 별도의 컨volution 헤드로 분리함으로써 앵커 박스가 필요 없게 되어 학습과 하이퍼파라미터 튜닝이 단순화되며, CityPersons 및 Caltech에서 최신 기술 수준의 성능을 달성하고 WiderFace 및 교차 데이터셋 평가에서 뛰어난 일반화 성능을 보인다.

ABSTRACT

Object detection generally requires sliding-window classifiers in tradition or anchor box based predictions in modern deep learning approaches. However, either of these approaches requires tedious configurations in boxes. In this paper, we provide a new perspective where detecting objects is motivated as a high-level semantic feature detection task. Like edges, corners, blobs and other feature detectors, the proposed detector scans for feature points all over the image, for which the convolution is naturally suited. However, unlike these traditional low-level features, the proposed detector goes for a higher-level abstraction, that is, we are looking for central points where there are objects, and modern deep models are already capable of such a high-level semantic abstraction. Besides, like blob detection, we also predict the scales of the central points, which is also a straightforward convolution. Therefore, in this paper, pedestrian and face detection is simplified as a straightforward center and scale prediction task through convolutions. This way, the proposed method enjoys a box-free setting. Though structurally simple, it presents competitive accuracy on several challenging benchmarks, including pedestrian detection and face detection. Furthermore, a cross-dataset evaluation is performed, demonstrating a superior generalization ability of the proposed method. Code and models can be accessed at (https://github.com/liuwei16/CSP and https://github.com/hasanirtiza/Pedestron).

연구 동기 및 목표

• 보행자 및 얼굴 검출에서 앵커 기반 객체 검출의 복잡성과 하이퍼파라미터 민감성 문제를 해결하기 위해.
• 객체 검출의 '어디에' 있는지와 '얼마나 큰지'의 하위 문제를 별도의 작업으로 분리하여 학습 및 모델 단순화를 향상시킬 수 있는지 탐색하기 위해.
• 데이터셋에 특화된 앵커 설정에 의존하지 않고도 다양한 데이터셋 간에 잘 일반화되는 방법을 개발하기 위해.
• 고수준의 의미적 특징 검출—특히 객체 중심점과 크기 예측—이 깊이 컨volution 네트워크를 통해 효과적으로 학습될 수 있는지 입증하기 위해.

제안 방법

• 이 방법은 객체 검출을 두 개의 헤드로 구성된 컨볼루션 예측 작업으로 공식화한다: 객체의 중심점과 해당 중심점에서의 크기를 예측하는 방식이다.
• 중심점 예측은 중심점의 위치를 학습 가능한 컨볼루션 레이어를 사용해 식별하는 히트맵 회귀 헤드를 통해 수행된다.
• 크기 예측은 중심점마다 객체의 크기(예: 크기 또는 반지름)를 출력하는 별도의 회귀 헤드를 통해 달성된다.
• 모델은 바운딩 박스 또는 중심선 애너테이션에서 유도된 진짜 중심점 및 크기 애너테이션을 사용하여 학습되며, 앵커 박스가 필요 없게 된다.
• 이 접근법은 본질적으로 앵커프리이며, 앵커의 크기, 종횡비, 오버랩 임계값 설정이 필요 없게 된다.
• 후처리 단계는 최소화되어 다른 앵커프리 방법에서 사용되는 복잡한 키포인트 쌍화 전략을 피한다.

실험 결과

연구 질문

• RQ1 딥 컨볼루션 네트워크를 사용하여 객체 검출의 '어디에' 있는지와 '얼마나 큰지'의 하위 문제를 효과적으로 별개의 학습 가능한 작업으로 분리할 수 있는가?
• RQ2 중심점 및 크기 예측 기반의 앵커프리 검출 방법이 정확도 및 일반화 성능 측면에서 앵커 기반 방법을 능가하는가?
• RQ3 제안된 CSP 검출기가 교차 데이터셋 평가에서, 특히 학습 데이터와 다른 도메인에서 어떻게 성능을 발휘하는가?
• RQ4 보행자 및 얼굴과 같은 다양한 객체 유형에 대해 재구성 없이 일반화 가능한가?
• RQ5 학습 중에 중심점 애너테이션이 노이즈 또는 모호한 경우 모델의 성능은 얼마나 민감한가?

주요 결과

• CityPersons 벤치마크에서 CSP 검출기는 이전의 앵커프리 방법인 TLL을 능가하며, 어려운 셋에서 AP 0.903을 기록하여 최신 기술 수준의 성능을 달성했다.
• Caltech에서 CSP는 어려운 셋에서 AP 0.903을 기록하여 모호한 중심점 애너테이션의 도전에도 불구하고 뛰어난 성능을 보였다.
• 교차 데이터셋 얼굴 검출에서, WiderFace에서 학습한 CSP는 WiderFace에서 89.9%의 AP를 기록했으며, 동일한 학습 조건에서 UCCS와 DarkFace에서 DSFD 모델보다 뛰어난 성능을 보였다.
• 모델은 뛰어난 일반화 성능을 보였다: WiderFace → UCCS 평가에서 CSP는 28.0%의 MR⁻²를 기록하여 DSFD의 25.9%를 능가했으며, 도메인 이동에 대한 강건성을 보여주었다.
• 학습 중 중심점 애너테이션이 최대 8 픽셀까지 훼손된 경우, 모델의 성능은 MR⁻² 기준 3.97% 하락했으며, 이는 애너테이션 품질에 민감함을 확인했다.
• 제거 분석 결과, 히트맵 헤드와 크기 헤드를 함께 사용한 경우(CSP H+W)는 히트맵 헤드만 사용한 경우(CSP H)보다 더 뛰어난 성능을 보였으며, 어려운 셋에서 각각 0.961 AP와 0.903 AP를 기록했다.