[논문 리뷰] Crowd Counting via Weighted VLAD on Dense Attribute Feature Maps

Biyun Sheng, Chunhua Shen외 4명|arXiv (Cornell University)|2016. 04. 29.

Video Surveillance and Tracking Methods참고 문헌 30인용 수 16

한 줄 요약

이 논문은 깊이 신경망에서 유도된 픽셀 수준의 의미적 특징 맵을 활용하여 국소성 인식 특징(LAF)을 추출하는 새로운 군중 수세기 방법을 제안한다. 이 특징들은 의미적 속성과 공간적 맥락을 모두 반영한다. 또한 이러한 특징을 인코딩하기 위해 개선된 W-VLAD(가중치가 부여된 VLAD)를 도입하여 UCSD에서 MAE 2.41, Caltech 10X에서 MAE 1.36를 기록하며 최신 기술 수준을 초월하는 성능을 달성한다.

ABSTRACT

Crowd counting is an important task in computer vision, which has many applications in video surveillance. Although the regression-based framework has achieved great improvements for crowd counting, how to improve the discriminative power of image representation is still an open problem. Conventional holistic features used in crowd counting often fail to capture semantic attributes and spatial cues of the image. In this paper, we propose integrating semantic information into learning locality-aware feature sets for accurate crowd counting. First, with the help of convolutional neural network (CNN), the original pixel space is mapped onto a dense attribute feature map, where each dimension of the pixel-wise feature indicates the probabilistic strength of a certain semantic class. Then, locality-aware features (LAF) built on the idea of spatial pyramids on neighboring patches are proposed to explore more spatial context and local information. Finally, the traditional VLAD encoding method is extended to a more generalized form in which diverse coefficient weights are taken into consideration. Experimental results validate the effectiveness of our presented method.

연구 동기 및 목표

• 군중 수세기에서 전반적 수작업 특징의 한계를 해결하기 위해 의미 정보를 통합한다.
• 기존 특징들이 군중 밀도의 공간적 맥락과 국소적 변동성을 포착하지 못하는 문제를 해결한다.
• 의미적 속성과 공간적 신호를 융합하여 군중 수세기용 이미지 표현의 분류 능력을 향상시킨다.
• 복잡하고 겹쳐진 군중 장면에서 표현 학습을 향상시키는 강력한 특징 인코딩 방법을 개발한다.

제안 방법

• 사전 훈련된 CNN를 사용하여 픽셀 수준의 의미적 특징 맵을 구축하며, 각 픽셀의 특징 벡터는 다양한 의미 클래스(예: 사람, 도로, 나무 등)에 속할 확률을 코딩한다.
• 의미적 특징 맵 내 국소 패치에 대해 공간 피라미드를 적용하여 국소성 인식 특징(LAF)을 추출함으로써 공간적 맥락과 국소 패턴을 인코딩한다.
• 기존 VLAD 인코딩 방식을 개선하여, 기저벡터-클러스터 편차에 대해 학습 가능한 또는 적응형 가중치를 할당하는 W-VLAD를 제안함으로써 표현의 구분 능력을 향상시킨다.
• W-VLAD를 사용하여 국소 LAF 기반 기저벡터를 종합하여 전역 이미지 표현을 생성하고, 이는 군중 수세기 회귀 기반 모델에 활용된다.
• 최종 W-VLAD 인코딩된 특징에 대해 회귀 헤드를 훈련시어 장면 내 총 인원 수를 예측한다.
• 표준 군중 수세기 벤치마크에서 표준 회귀 손실(예: L1 또는 L2 손실)을 사용하여 전체 파이프라인을 엔드 투 엔드로 최적화한다.

실험 결과

연구 질문

• RQ1 픽셀 수준의 의미적 특징 맵은 군중 수세기에서 이미지 표현의 구분 능력을 향상시키는가?
• RQ2 국소성 인식 특징(LAF)은 밀도가 높은 군중 장면에서 공간적 맥락과 국소적 변동성을 얼마나 효과적으로 인코딩하는가?
• RQ3 VLAD 인코딩에 가중치 계수를 통합함으로써 W-VLAD가 기존 VLAD나 전반적 특징보다 더 나은 표현 학습을 이끌어내는가?
• RQ4 제안된 방법은 다양한 군중 밀도와 겹침, 저조도와 같은 도전적인 조건에서도 일반화 가능한가?

주요 결과

• 제안된 방법은 UCSD 데이터셋에서 평균 절대 오차(MAE) 2.41과 평균 제곱 오차(MSE) 9.12를 기록하여 최신 기술 수준의 방법들과 비교해도 뛰어난 성능을 보였다.
• Caltech 10X 데이터셋에서는 MAE 1.36과 MSE 3.50을 기록하여 매우 겹쳐진 복잡한 장면에서도 강력한 성능을 입증하였다.
• 절단 실험 결과, 공간 피라미드 인코딩을 적용한 LAF는 전반적 특징(HF)과 공간 피라미드 풀링 특징(SPPF)보다 성능 향상을 보였으며, LFV(LAF + VLAD)는 HF 대비 MAE를 1.1 감소시켰다.
• W-VLAD는 표준 VLAD 대비 표현 품질을 크게 향상시켰으며, 특징 공간에서 유사한 군중 수를 가진 샘플들이 더 잘 군집화됨을 확인할 수 있었다(그림 8 참조).
• 어두운 배경이나 혼잡한 배경과 같은 도전적인 상황에서도 잘 일반화되었지만, 의미적으로 부적절한 객체(예: 기둥 등)가 사람으로 잘못 분류될 경우 오류가 발생했다.
• Mall 데이터셋에서도 강력한 성능을 유지하였으며, 이는 이전 방법들과 비교해도 유사하거나 더 낫다는 것을 입증하여 다양한 군중 밀도를 가진 데이터셋 간의 강인함을 확인시켰다.