[논문 리뷰] Revisiting Perspective Information for Efficient Crowd Counting

Miaojing Shi, Zhaohui Yang외 2명|arXiv (Cornell University)|2018. 07. 05.

Video Surveillance and Tracking Methods참고 문헌 53인용 수 15

한 줄 요약

이 논문은 다중 척도 밀도 회귀에 학습된 시점 맵을 통합함으로써 효율적인 군중 수세기 위해 시점 인식 컨볼루션 신경망(PACNN)을 제안한다. 지도 학습을 위한 시점 맵을 생성하고 이를 미분 가능하고 학습 가능한 가중치 레이어로 사용함으로써, PACNN은 다중 척도 밀도 예측을 적응적으로 융합하며, 상하이테크, 월드엑spo’10, UCF_CC_50, UCSD 데이터셋에서 최신 기술(SOTA) 수준의 정확도와 추론 속도를 달성한다. UCSD에서 MAE는 최저 0.89를 기록한다.

ABSTRACT

Crowd counting is the task of estimating people numbers in crowd images. Modern crowd counting methods employ deep neural networks to estimate crowd counts via crowd density regressions. A major challenge of this task lies in the perspective distortion, which results in drastic person scale change in an image. Density regression on the small person area is in general very hard. In this work, we propose a perspective-aware convolutional neural network (PACNN) for efficient crowd counting, which integrates the perspective information into density regression to provide additional knowledge of the person scale change in an image. Ground truth perspective maps are firstly generated for training; PACNN is then specifically designed to predict multi-scale perspective maps, and encode them as perspective-aware weighting layers in the network to adaptively combine the outputs of multi-scale density maps. The weights are learned at every pixel of the maps such that the final density combination is robust to the perspective distortion. We conduct extensive experiments on the ShanghaiTech, WorldExpo'10, UCF_CC_50, and UCSD datasets, and demonstrate the effectiveness and efficiency of PACNN over the state-of-the-art.

연구 동기 및 목표

• 작은 인체 영역에서의 정밀한 밀도 회귀를 방해하는 시점 왜곡으로 인한 척도 변화의 극심한 변동성을 해결하기 위해.
• 외부 카메라 캘리브레이션 또는 장면 기하 구조 애너테이션에 의존하지 않고 효율적이고 정확한 군중 수세기를 가능하게 하기 위해.
• 학습 중에 엔드 투 엔드로 시점 맵을 학습하고, 이를 네트워크 내에서 적응적이고 미분 가능한 가중치 레이어로 사용하기 위해.
• 사람의 척도 변화를 고려한 시점 인식 주의를 통합함으로써 다중 척도 밀도 맵 융합을 향상시키기 위해.
• 특히 시점 왜곡이 심한 환경에서 빠른 추론을 제공하는 최신 기술 성능을 달성하기 위해.

제안 방법

• 각 이미지의 시점 기하학에 기반하여 사람의 척도 관계를 샘플링하고 비선형 함수를 fitting하여 진짜 시점 맵을 생성한다.
• 딥 컨volution 신경망을 사용해 입력 이미지에서 시점 맵을 엔드 투 엔드로 예측함으로써, 외부 애너테이션 없이도 테스트 시 추론이 가능하게 한다.
• 두 개의 시점 인식 가중치 레이어를 도입하였으며, 각 픽셀의 가중치는 서로 다른 해상도에서 예측된 시점 맵의 비선형 변환을 통해 학습된다.
• 다중 척도 밀도 맵은 이러한 학습된 가중치를 사용해 적응적으로 조합되며, 이로 인해 시점 왜곡에 강건한 최종 밀도 예측이 가능해진다.
• 일반화 성능을 향상시키기 위해 밀도 회귀와 시점 맵 예측을 결합한 다중 태스크 손실을 사용해 네트워크를 훈련시킨다.
• 이 방법은 이미지 기반 추론을 지원하여, 패치 기반 처리 없이도 빠른 추론(예: 1024×768 입력에 대해 230ms)을 가능하게 한다.

실험 결과

연구 질문

• RQ1 카메라 캘리브레이션 또는 장면 기하 구조 정보 없이도 깊이 신경망에 시점 정보를 효과적으로 학습하고 통합할 수 있는가?
• RQ2 심한 시점 왜곡 하에서 시점 맵을 학습하면 다중 척도 밀도 융합에 어떤 영향을 미치는가?
• RQ3 시점 인식 가중치 메커니즘이 정확도와 추론 속도 측면에서 기존의 다중 척도 융합 기법을 능가할 수 있는가?
• RQ4 제안된 방법은 다양한 군중 밀도와 시점 왜곡을 가진 데이터셋 간에 잘 일반화되는가?
• RQ5 시점 맵 통합이 최소한의 계산 오버헤드로 최신 기술 성능을 달성할 수 있는가?

주요 결과

• PACNN는 UCSD 데이터셋에서 MAE 0.89와 MSE 1.18를 기록하여 이전 모든 방법보다 낮은 성능을 달성한다.
• UCF_CC_50에서, PACNN는 [17]의 백본과 조합했을 때 MAE 241.7과 MSE 320.7을 기록하여 새로운 SOTA를 수립한다.
• WorldExpo’10에서, PACNN는 다섯 개의 장면 평균 MAE 7.8을 기록하여 시점 변화에 대한 강건성을 입증한다.
• 상하이테크에서, PACNN는 MAE 62.4와 MSE 102.0을 기록하며, 이미지 기반 추론을 사용한 이전 SOTA를 초월한다.
• 1024×768 이미지에 대해 추론 시간은 단 230ms이며, 패치 기반 방법보다 5배 빠르다.
• 희박한(UCSD) 및 고밀도(상하이테크) 군중 시나리오를 포함한 다양한 데이터셋 간에 잘 일반화된다.