[논문 리뷰] Learning Spatial Awareness to Improve Crowd Counting

Zhi-Qi Cheng, Jun-Xiu Li외 3명|arXiv (Cornell University)|2019. 09. 16.

Video Surveillance and Tracking Methods참고 문헌 52인용 수 21

한 줄 요약

이 논문은 최대 픽셀 초과(MEP)라는 미분 가능한 픽셀 수준 손실을 통해 공간 인식을 통합함으로써 군중 수세기 성능을 향상시키는 새로운 딥러닝 프레임워크인 SPANet을 제안한다. 약한 감독을 받는 다중 분기 아키텍처를 사용해 고차이점 하위 영역을 생성함으로써, 밀도 지도 추정을 향상시켜 네 가지 벤치마크에서 성능을 크게 향상시키고 최신 기술을 초월한다.

ABSTRACT

The aim of crowd counting is to estimate the number of people in images by leveraging the annotation of center positions for pedestrians' heads. Promising progresses have been made with the prevalence of deep Convolutional Neural Networks. Existing methods widely employ the Euclidean distance (i.e., $L_2$ loss) to optimize the model, which, however, has two main drawbacks: (1) the loss has difficulty in learning the spatial awareness (i.e., the position of head) since it struggles to retain the high-frequency variation in the density map, and (2) the loss is highly sensitive to various noises in crowd counting, such as the zero-mean noise, head size changes, and occlusions. Although the Maximum Excess over SubArrays (MESA) loss has been previously proposed to address the above issues by finding the rectangular subregion whose predicted density map has the maximum difference from the ground truth, it cannot be solved by gradient descent, thus can hardly be integrated into the deep learning framework. In this paper, we present a novel architecture called SPatial Awareness Network (SPANet) to incorporate spatial context for crowd counting. The Maximum Excess over Pixels (MEP) loss is proposed to achieve this by finding the pixel-level subregion with high discrepancy to the ground truth. To this end, we devise a weakly supervised learning scheme to generate such region with a multi-branch architecture. The proposed framework can be integrated into existing deep crowd counting methods and is end-to-end trainable. Extensive experiments on four challenging benchmarks show that our method can significantly improve the performance of baselines. More remarkably, our approach outperforms the state-of-the-art methods on all benchmark datasets.

연구 동기 및 목표

• L2 손실의 한계를 해결하기 위해, 고주파 공간 변동성을 유지하지 못하고 노이즈, 가림, 머리 크기 변화에 민감한 군중 수세기에서 L2 손실의 문제점을 해결한다.
• 이전에 딥러닝 프레임워크에 통합이 불가능했지만 공간 인식 향상에 효과적인 MESA 손실의 비가역성 문제를 해결한다.
• 추가 애너테이션 없이도 밀도 지도 예측의 공간 인식을 향상시킬 수 있는, 미분 가능하고 엔드 투 엔드로 학습 가능한 방법을 개발한다.
• 예측값과 진짜값 간의 픽셀 수준 차이에 초점을 맞춰, 특히 고밀도 및 가림 영역에서의 군중 수세기 모델 정확도를 향상시킨다.

제안 방법

• 예측 밀도 지도와 진짜 밀도 지도 간의 최대 차이를 보이는 픽셀 수준 하위 영역을 식별하는 최대 픽셀 초과(MEP) 손실을 제안한다.
• 경량 감독 학습 기반의 랭킹 신호를 사용해, 경계 상자나 정밀 애너테이션 없이도 고오차 영역을 나타내는 오차 마스크를 생성한다.
• 크기가 점차 증가하는 패치들을 비교하는 다중 분기 아키텍처를 설계하여, 사전 지식이 없는 사전 지각 감지와 유사한 방식으로 주목할 만한 고차이점 영역을 탐지한다.
• 기존의 CNN 기반 군중 수세기 모델(MCNN, CSRNet, SANet 등)에 MEP 손실을 엔드 투 엔드로 학습 가능한 방식으로 통합한다.
• 학습 곡선의 안정성 향상과 수렴성 향상을 위해 지수 이동 평균(EMA) 스무딩을 적용한다.
• 예측 밀도 지도의 해상도 향상과 추정 품질 향상을 위해 디컨볼루션 레이어를 활용한다.

실험 결과

연구 질문

• RQ1 L2 손실의 한계를 넘어서, 픽셀 수준의 미분 가능한 손실 함수가 군중 수세기에서 공간 인식을 향상시킬 수 있는가?
• RQ2 정밀 애너테이션 없이도 약한 감독 기반의 랭킹 신호가 의미 있는 고차이점 영역을 효과적으로 생성할 수 있는가?
• RQ3 기존의 CNN 아키텍처에 MEP 손실을 통합함으로써 벤치마크 데이터셋에서 성능 향상이 얼마나 이루어지는가?
• RQ4 L2 기반 기준 모델 대비, 제안된 방법이 저밀도 영역에서의 과대추정과 고밀도 영역에서의 과소추정을 줄일 수 있는가?
• RQ5 비가역성 손실인 MESA와 비교해도, 기울기 하강법로 학습 가능한 MEP 손실이 유사하거나 더 뛰어난 성능을 낼 수 있는가?

주요 결과

• SPANet는 모든 기준 모델과 데이터셋에서 PSNR와 SSIM을 크게 향상시켜, 더 높은 품질의 밀도 지도 예측을 가능하게 한다.
• 저밀도 영역에서의 과대추정과 고밀도 영역에서의 과소추정을 줄였으며, 테스트 이미지의 96%에서 L2 기반 기준 모델 대비 개선된 카운트 정확도를 보였다.
• 상하이테크 파트 A 데이터셋에서 SPANet는 원본 MCNN 대비 MAE를 최대 15%까지 감소시켰으며, 학습 및 검증 손실이 전반적으로 낮게 유지되었다.
• 디컨볼루션 레이어를 통해 예측 밀도 지도의 해상도를 높임으로써 성능 향상이 측정되었으며, 출력 지도가 입력 크기와 일치할 때 가장 높은 향상이 관찰되었다.
• 다중 분기 아키텍처의 최적의 분기 수는 MCNN/SANet의 경우 H/8, CSRNet의 경우 H/16로 교차 검증을 통해 도출되었다.
• 학습 곡선 분석 결과, SPANet가 모든 실험에서 학습 안정성을 향상시켰으며, 훈련 및 검증 세트에서 일관되게 낮은 MAE를 기록했다.