[논문 리뷰] PCC Net: Perspective Crowd Counting via Spatial Convolutional Network

Junyu Gao, Qi Wang외 1명|arXiv (Cornell University)|2019. 05. 24.

Video Surveillance and Tracking Methods참고 문헌 39인용 수 4

한 줄 요약

이 논문은 시점 인식형 군중 수세기 위한 다중 작업 딥러닝 프레임워크인 PCC Net을 제안한다. 이는 밀도 맵 추정, 랜덤 고수준 밀도 분류, 전경/배경 세분화를 통합한다. 방향성 시점 인코딩 모듈(DULR)을 도입하고 다중 척도 특징 학습을 활용하여 상하이 기술 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 다른 네 개의 데이터셋에서도 경쟁력 있는 결과를 보였다. 특히 밀도가 매우 높은 장면에서 정확도를 크게 향상시키고 배경 영역의 잘못된 추정을 줄였다.

ABSTRACT

Crowd counting from a single image is a challenging task due to high appearance similarity, perspective changes and severe congestion. Many methods only focus on the local appearance features and they cannot handle the aforementioned challenges. In order to tackle them, we propose a Perspective Crowd Counting Network (PCC Net), which consists of three parts: 1) Density Map Estimation (DME) focuses on learning very local features for density map estimation; 2) Random High-level Density Classification (R-HDC) extracts global features to predict the coarse density labels of random patches in images; 3) Fore-/Background Segmentation (FBS) encodes mid-level features to segments the foreground and background. Besides, the DULR module is embedded in PCC Net to encode the perspective changes on four directions (Down, Up, Left and Right). The proposed PCC Net is verified on five mainstream datasets, which achieves the state-of-the-art performance on the one and attains the competitive results on the other four datasets. The source code is available at https://github.com/gjy3035/PCC-Net.

연구 동기 및 목표

• 단일 이미지 군중 수세기에서 발생하는 시점 왜곡, 높은 외형 유사성, 심한 군중 혼잡성 문제를 해결하기 위해.
• 배경 영역(예: 나무, 구조물)을 사람으로 잘못 추정하는 것을 줄이기 위해 전경/배경 구분 능력을 향상시키기 위해.
• 네 방향(위, 아래, 왼쪽, 오른쪽)으로의 시점 변화를 명시적으로 인코딩하여 밀도 맵의 일관성을 향상시키기 위해.
• 계층적 특징 학습과 다중 작업 감독을 통해 극도로 혼잡한 지역의 국소 밀도 추정을 향상시키기 위해.
• 랜덤 이미지 패치를 사용한 고수준 밀도 분류를 위한 유연하고 데이터 증강된 훈련 전략을 개발하기 위해.

제안 방법

• PCC Net은 세 개의 병렬 브랜치를 사용한다: 픽셀 수준의 밀도 예측을 위한 밀도 맵 추정(DME), 랜덤 이미지 패치의 거시적 밀도 레이블링을 위한 랜덤 고수준 밀도 분류(R-HDC), 머리 영역과 배경을 구분하기 위한 전경/배경 세분화(FBS).
• DULR 모듈은 DME 및 FBS 브랜치에 통합되어 네 방향(아래, 위, 왼쪽, 오른쪽)의 방향성 특징을 모델링함으로써 시점 변화를 인코딩한다.
• R-HDC는 훈련 중 동적 샘플링 전략을 사용한다: 전체 이미지에서 랜덤 패치를 추출하고 거시적 밀도 레이블을 할당함으로써 사전 정의된 훈련 세트 없이도 다양한 적응형 감독을 가능하게 한다.
• FBS는 원본 데이터셋에 이러한 애너테이션이 없기 때문에 이미지 형태학적 연산을 사용해 헤드 영역의 의사 세분화 마스크를 생성함으로써 전경과 배경 간의 특징 구분 능력을 향상시킨다.
• 다중 작업 학습은 공유 백본을 통해 공동 최적화되며, DME(제1손실), R-HDC(교차 엔트로피), FBS(이元 교차 엔트로피)의 손실 함수를 사용하여 작업 간 특징 전이를 가능하게 한다.
• 모델은 다섯 개의 벤치마크 데이터셋에서 엔드 투 엔드로 훈련되며, 수렴 속도와 안정성의 균형을 맞추기 위해 ROI 수(20)를 최적화하여 초모수를 조정한다.

실험 결과

연구 질문

• RQ1 다중 작업 학습 프레임워크가 국소 밀도 추정, 전반적 맥락, 전경/배경 세분화를 함께 모델링함으로써 군중 수세기 정확도를 향상시킬 수 있는가?
• RQ2 방향성 시점 인코딩 모듈(DULR)이 2차원 군중 이미지에서 시점 왜곡으로 인한 오류를 얼마나 효과적으로 완화할 수 있는가?
• RQ3 고정된 훈련 세트 대비 랜덤으로 동적 샘플링된 이미지 패치를 사용한 고수준 분류가 일반화 성능을 향상시키는 데 얼마나 효과적인가?
• RQ4 전경/배경 세분화는 나무, 기둥 등의 비인간 물체를 사람으로 잘못 추정하는 것을 어느 정도 줄일 수 있는가?
• RQ5 정답 애너테이션이 없는 상황에서 효과적인 의사 세분화 마스크를 생성하기 위한 형태학적 매개변수의 최적 설정은 무엇인가?

주요 결과

• PCC Net은 상하이 기술 B 데이터셋에서 최신 기술 수준의 평균 절대 오차(MAE) 10.9를 기록하여 이전 방법들을 능가했다.
• 상하이 기술 A 데이터셋에서 PCC Net은 MAE 73.4와 MSE 124.0을 기록하였으며, 최적의 세분화 매개변수를 사용할 경우 NoSeg 기준(마진 79.3, MSE 129.5)보다 유의미하게 향상되었다.
• DULR 모듈은 시점 변화를 효과적으로 인코딩하여 혼잡한 지역에서의 과도한 추정을 줄였다. 이는 시각적 비교에서 빨간 박스 영역의 오차가 낮아진 것으로 확인되었다.
• 20개의 랜덤 ROI를 사용한 R-HDC 모듈은 더 빠른 수렴과 안정적인 훈련을 보였으며, ROI 수가 5 또는 300인 구성보다 훈련 동역학과 최종 성능 면에서 뛰어났다.
• FBS 브랜치는 배경 오해 추정을 줄였다: PCC Net은 나무와 구조물을 사람으로 잘못 인식하지 않아 CP-CNN와 CSRNet이 자주 이를 잘못 분류하는 것과 대비된다.
• 세분화 마스크 매개변수 설정이 10–60 픽셀 범위에서 유연하게 작동했으며, 최적의 결과는 50–60 픽셀에서 도출되었다. 극단적인 값(예: 150 픽셀)은 분별성 있는 특징 학습을 상실하여 성능을 떨어뜨렸다.