[논문 리뷰] Effective Pedestrian Detection Using Center-symmetric Local Binary/Trinary Patterns

Yongbin Zheng, Chunhua Shen외 2명|arXiv (Cornell University)|2010. 09. 05.

Video Surveillance and Tracking Methods참고 문헌 33인용 수 26

한 줄 요약

이 논문은 조밀하고 피라미드형 중심 대칭 국소 이진/삼진 패턴(CS-LBP/LTP)을 제안하여, 기울기와 두드러진 텍스처 정보를 활용해 낮은 계산 비용으로 높은 성능을 달성하는 보행자 검출을 수행한다. INRIA 데이터셋에서 피라미드형 CS-LTP 특징과 히스토그램 교차 커널 서포트 벡터 머신(HIKSVM)을 사용할 경우, HOG 및 PHOG 기준선을 모두 능가하며, PHOG와 조합하면 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Accurately detecting pedestrians in images plays a critically important role in many computer vision applications. Extraction of effective features is the key to this task. Promising features should be discriminative, robust to various variations and easy to compute. In this work, we present novel features, termed dense center-symmetric local binary patterns (CS-LBP) and pyramid center-symmetric local binary/ternary patterns (CS-LBP/LTP), for pedestrian detection. The standard LBP proposed by Ojala et al. \cite{c4} mainly captures the texture information. The proposed CS-LBP feature, in contrast, captures the gradient information and some texture information. Moreover, the proposed dense CS-LBP and the pyramid CS-LBP/LTP are easy to implement and computationally efficient, which is desirable for real-time applications. Experiments on the INRIA pedestrian dataset show that the dense CS-LBP feature with linear supporct vector machines (SVMs) is comparable with the histograms of oriented gradients (HOG) feature with linear SVMs, and the pyramid CS-LBP/LTP features outperform both HOG features with linear SVMs and the start-of-the-art pyramid HOG (PHOG) feature with the histogram intersection kernel SVMs. We also demonstrate that the combination of our pyramid CS-LBP feature and the PHOG feature could significantly improve the detection performance-producing state-of-the-art accuracy on the INRIA pedestrian dataset.

연구 동기 및 목표

• 잡음이나 복잡한 배경, 자세 변화 등 도전적인 조건에서 분류 능력이 뛰어나고, 계산 비용이 낮은 특징이 필요하다는 문제를 해결하기 위해.
• 기본 LBP는 과도하게 많은 텍스처 세부 정보를 포착하여 보행자 검출에 적합하지 않은 고차원 기술자(descriptor)를 생성한다는 한계를 극복하기 위해.
• HOG 유사 기술자보다 형태와 두드러진 텍스처 정보를 더 효과적으로 포착할 수 있는 특징을 개발하기 위해, 특히 소음이나 복잡한 환경에서 성능을 높이기 위해.
• 중심 대칭 LBP 및 LTP 특징이 HOG 및 PHOG 최신 기술 수준의 성능을 달성하거나 이를 초월할 수 있으며, 계산 속도가 더 빠르다는 것을 입증하기 위해.
• CS-LBP/LTP를 PHOG와 조합하여 검출 정확도를 더욱 향상시킬 수 있는지 조사하기 위해.

제안 방법

• HOG 유사 특징 추출 방법으로 조밀한 중심 대칭 LBP(CS-LBP)를 제안하여, 이미지 패치의 조밀한 격자에서 국소 기울기와 텍스처 구조를 포착한다.
• 다중 척도 특징으로서 피라미드형 CS-LBP/LTP를 도입하여, 여러 공간 척도에서 특징을 계산하고 계층적 기술자로 통합한다.
• 중심 대칭 국소 이진 패턴(CS-LBP)을 사용하여 중심 픽셀 주변의 국소 강도 차이를 인코딩하여 기울기 유사 구조에 집중하고 노이즈에 민감도를 낮춘다.
• CS-LBP를 중심 대칭 국소 삼진 패턴(CS-LTP)으로 확장하여 강도 차이를 삼단계로 양자화함으로써 균일 영역에서의 강건성을 향상시킨다.
• INRIA 데이터셋에서 성능을 평가하기 위해 조밀한 CS-LBP에는 선형 서포트 벡터 머신(SVM), 피라미드 특징에는 히스토그램 교차 커널 SVM(HIKSVM)을 적용한다.
• 피라미드 균일 CS-LBP와 PHOG 특징을 커널 행렬 평균화를 통해 융합하여 분류 성능 향상을 위한 통합 커널을 생성한다.

실험 결과

연구 질문

• RQ1 중심 대칭 국소 이진/삼진 패턴(CS-LBP/LTP)은 정확도와 효율성 측면에서 전통적인 HOG 및 PHOG 기준선을 능가하는 효과적인 보행자 검출 특징으로 활용될 수 있는가?
• RQ2 조밀한 CS-LBP와 HOG가 모두 선형 SVM를 사용할 때 INRIA 보행자 검출 벤치마크에서 성능가 비교해보면 어떻게 되는가?
• RQ3 피라미드형 CS-LBP/LTP 특징이 HIKSVM와 함께 사용될 경우, 동일한 분류기로 PHOG를 사용할 때보다 더 높은 검출 정확도를 달성하는가?
• RQ4 피라미드형 CS-LBP와 PHOG를 융합하면 검출 성능이 크게 향상되는가? 만약 그렇다면, 얼마나 향상되는가?
• RQ5 CS-LBP/LTP의 계산 복잡도는 PHOG와 비교해 어떻게 되며, 실시간 응용에 적합한가?

주요 결과

• 선형 SVM를 사용한 조밀한 CS-LBP 특징은 INRIA 데이터셋에서 선형 SVM를 사용한 HOG 특징과 비교해 유사한 검출 정확도를 달성한다.
• 히스토그램 교차 커널 SVM(HIKSVM)을 사용한 피라미드형 CS-LTP 특징은 INRIA 데이터셋에서 HIKSVM를 사용한 PHOG 특징과 선형 SVM를 사용한 HOG 특징를 모두 능가한다.
• 피라미드 균일 CS-LBP 특징은 PHOG보다 略적으로 열등하지만, 여전히 선형 SVM를 사용한 HOG 기반 검출기보다 성능이 뛰어나다.
• 피라미드 균일 CS-LBP 특징과 PHOG를 커널 평균화를 통해 융합하면, 0.25 FPPI에서 약 6% 향상되고, 0.5–1 FPPI에서 약 1.5% 향상된다.
• PHOG + 피라미드 균일 CS-LBP 검출기는 INRIA 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 모든 FPPI 수준에서 뛰어난 검출률을 보였다.
• 제안된 특징들은 계산 비용이 낮고 구현이 간편하여 실시간 보행자 검출 응용에 적합하다.