[논문 리뷰] Perspective-Guided Convolution Networks for Crowd Counting

Zhaoyi Yan, Yuchen Yuan외 5명|arXiv (Cornell University)|2019. 09. 16.

Video Surveillance and Tracking Methods참고 문헌 26인용 수 34

한 줄 요약

PGCNet은 시점-가이드 컨볼루션을 사용해 intra-scene 규모 변화를 특징 스무딩에 적응시키며, 시점 추정 분기와 새로운 Crowd Surveillance 데이터셋을 통해 여러 벤치마크에서 최첨단 결과를 달성합니다.

ABSTRACT

In this paper, we propose a novel perspective-guided convolution (PGC) for convolutional neural network (CNN) based crowd counting (i.e. PGCNet), which aims to overcome the dramatic intra-scene scale variations of people due to the perspective effect. While most state-of-the-arts adopt multi-scale or multi-column architectures to address such issue, they generally fail in modeling continuous scale variations since only discrete representative scales are considered. PGCNet, on the other hand, utilizes perspective information to guide the spatially variant smoothing of feature maps before feeding them to the successive convolutions. An effective perspective estimation branch is also introduced to PGCNet, which can be trained in either supervised setting or weakly-supervised setting when the branch has been pre-trained. Our PGCNet is single-column with moderate increase in computation, and extensive experimental results on four benchmark datasets show the improvements of our method against the state-of-the-arts. Additionally, we also introduce Crowd Surveillance, a large scale dataset for crowd counting that contains 13,000+ high-resolution images with challenging scenarios.

연구 동기 및 목표

• 원근에 의해 야기된 군중 수 추계의 극심한 단일 장면 내 스케일 변화를 해결한다.
• 받아들이는 receptive field를 공간적으로 작동하도록 조절하는 학습 가능한 perspective-guided convolution (PGC) 모듈을 도입한다.
• 시점 추정 분기를 포함시켜 시점 주석이 있거나 없더라도 엔드-투-엔드 학습이 가능하도록 한다.
• 강건한 벤치마킹을 위한 대규모 고해상도 군중 수 추계 데이터셋인 Crowd Surveillance를 제안한다.
• 다수의 공개 데이터셋에서 최첨단 성능을 시연한다.

제안 방법

• 공간적으로 가변적인 Gaussian 스무딩과 그 다음의 공간적으로 불변 컨볼루션을 결합하는 Perspective-Guided Convolution (PGC)을 도입한다.
• 학습 가능한 시점 맵에서 시그모이드 기반 정규화와 학습된 선형 관계를 통해 표준 편차로의 흐트러짐 맵을 계산한다.
• Gaussian 커널의 PCA 기반 분해를 통해 계산량을 줄이며 공간적으로 가변적인 스무딩을 효율적으로 근사한다.
• PGC 블록을 단일 칼럼 백본에 삽입해 PGCNet을 형성하고 밀도 맵 추정을 위해 다섯 개의 PGC 블록을 적재한다.
• 시점 추정 분기(PENet)를 추가하고 세 단계 오토인코더 전략으로 지도 학습 또는 약 지도 학습이 가능하도록 통해 시점 주석이 없어도 엔드-투-엔드 학습이 가능하게 한다.
• ROI 마스크를 포함한 Crowd Surveillance 데이터셋(13,945장 고해상도 이미지)을 도입해 군중 수 추계 연구를 발전시킨다.

실험 결과

연구 질문

• RQ1 단일 칼럼 CNN에서 시점 정보를 어떻게 활용해 연속적인 intra-scene 군중 규모 변화를 처리할 수 있는가?
• RQ2 시점 추정 분기가 시점 주석 없이도 엔드-투-엔드 군중 수 추계를 지원하도록 학습될 수 있는가?
• RQ3 다중 스케일 또는 확장된 아키텍처에 비해 시점 가이드 컨볼루션을 삽입하면 얻는 이점은 무엇인가?
• RQ4 제안된 Crowd Surveillance 데이터셋은 해상도와 변동성 측면에서 기존 벤치마크와 어떻게 비교되는가?

주요 결과

• PGCNet은 ShanghaiTech Part A에서 최첨단 또는 경쟁적인 MAE/MSE를 달성합니다(57.0 MAE, 86.0 MSE) 및 Part B에서(8.8 MAE, 13.7 MSE).
• WorldExpo’10에서 PGCNet은 강한 변동성 대비 기준선 대비 큰 개선으로 모든 장면에서 최상의 평균 MAE(8.1)를 달성합니다.
• UCF_CC_50에서 PGCNet 변형은 엔드-투-엔드 PENet 학습과 함께 MAE를 244.6까지 낮추며 CSRNet 기준(~264.0)보다 낮은 성능을 보입니다.
• Crowd Surveillance에서 PGCNet은 엔드-투-엔드 학습으로 MAE 7.2를 달성합니다(일부 기준선의 범위 9.8–16.4 대비).
• PENet 시점 추정기는 강력한 시점 맵을 제공하며 PENet를 포함한 엔드-투-엔드 학습은 PENet-가이드 프리트레이닝 alone보다 추가 MAE 이점을 가져옵니다.
• Crowd Surveillance는 13,945장의 고해상도 이미지와 386k+ 라벨링된 인원을 제공하여 군중 수 추계 벤치마크의 규모와 까다로운 조건을 크게 확장합니다.