[논문 리뷰] Adaptive Mixture Regression Network with Local Counting Map for Crowd Counting

Xiyang Liu, Jie Yang외 1명|arXiv (Cornell University)|2020. 05. 12.

Video Surveillance and Tracking Methods참고 문헌 34인용 수 11

한 줄 요약

이 논문은 인파 카운팅에서 학습 손실(점 대 점 밀도 맵 오차)과 평가 지표(전체 인구 수) 간의 일관성 없음을 해결하기 위해 새로운 국소 카운팅 맵(LCM) 타겟을 갖는 적응형 혼합 회귀 네트워크를 제안한다. 기존의 밀도 맵 대신 국소 패치 내 사람 수를 나타내는 LCM를 사용하고, 스케일 인식형, 혼합 회귀형, 적응형 소프트 간격 모듈을 통합한 코arse-to-fine 프레임워크를 도입함으로써 상하이기술대 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, Part A에서는 MAE를 61.59로, Part B에서는 7.02로 감소시켰다.

ABSTRACT

The crowd counting task aims at estimating the number of people located in an image or a frame from videos. Existing methods widely adopt density maps as the training targets to optimize the point-to-point loss. While in testing phase, we only focus on the differences between the crowd numbers and the global summation of density maps, which indicate the inconsistency between the training targets and the evaluation criteria. To solve this problem, we introduce a new target, named local counting map (LCM), to obtain more accurate results than density map based approaches. Moreover, we also propose an adaptive mixture regression framework with three modules in a coarse-to-fine manner to further improve the precision of the crowd estimation: scale-aware module (SAM), mixture regression module (MRM) and adaptive soft interval module (ASIM). Specifically, SAM fully utilizes the context and multi-scale information from different convolutional features; MRM and ASIM perform more precise counting regression on local patches of images. Compared with current methods, the proposed method reports better performances on the typical datasets. The source code is available at https://github.com/xiyang1012/Local-Crowd-Counting.

연구 동기 및 목표

• 인파 카운팅에서 학습 목표(밀도 맵 손실)와 평가 기준(전체 수) 간의 일관성 없음을 해결하기 위해.
• 평가 지표와 더 잘 일치하는 새로운 학습 타겟인 국소 카운팅 맵(LCM)을 도입하여 정확도를 향상시키기 위해.
• 국소 및 다중 스케일 특징 활용을 향상시키기 위해 코어스-투-파인 적응형 혼합 회귀 프레임워크를 개발하기 위해.
• 개선된 학습 타겟 일치 및 아키텍처 설계를 통해 표준 인파 카운팅 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 각 값이 국소 이미지 패치 내 사람 수를 나타내는 새로운 학습 타겟인 국소 카운팅 맵(LCM)을 제안하며, 밀도 확률 대신 사용한다.
• 세 모듈로 구성된 적응형 혼합 회귀 프레임워크를 도입: 다중 스케일 및 맥락 특징 융합을 위한 스케일 인식 모듈(SAM), 국소 패치 회귀를 위한 혼합 회귀 모듈(MRM), 적응형 간격 분할을 위한 적응형 소프트 간격 모듈(ASIM).
• 코어스-투-파인 전략을 사용: SAM이 다수의 컨볼루션 레이어에서 생성된 특징을 처리하여 맥락이 풍부한 표현을 생성하고, 이를 MRM과 ASIM이 국소 패치에서 정밀화한다.
• ASIM에서 적응형 소프트 간격 분할을 사용하여 특징 신뢰도에 기반해 회귀 간격을 동적으로 조정함으로써 국소 추정 정확도를 향상시킨다.
• LCM 타겟에 대해 L1/L2 손실을 사용하여 모델을 학습하며, 추론 실험을 통해 각 모듈의 기여도를 확인한다.
• 정확도와 계산 비용의 균형을 고려해 패치 크기와 혼합 수량(K=3)을 최적화한다.

실험 결과

연구 질문

• RQ1 밀도 맵 대신 국소 카운팅 맵(LCM)을 학습 타겟으로 사용할 경우 평가 지표와의 일치도가 향상되고 정확도가 향상되는가?
• RQ2 SAM, MRM, ASIM 모듈을 포함한 코어스-투-파인 적응형 혼합 회귀 프레임워크가 국소 및 전반적인 인파 카운팅 성능을 향상시키는가?
• RQ3 국소 패치 크기와 혼합 성분 수량(K)의 선택이 모델의 정확도와 효율성에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 상하이기술대 Part A 및 Part B와 같은 표준 인파 카운팅 벤치마크에서 최신 기술 수준의 성능을 달성하는가?

주요 결과

• 제안된 방법은 상하이기술대 Part A에서 새로운 최신 기술 수준의 MAE 61.59, Part B에서는 7.02를 달성하여 이전 방법들을 크게 능가한다.
• LCM 기반 학습 타겟은 기준 밀도 맵 방법 대비 MAE를 11.36 감소시켰다(72.98 대 69.52, Part A 기준)로서 평가 기준과의 더 나은 일치를 입증한다.
• 추론 실험 결과 각 모듈이 점진적으로 기여함을 확인: MRM은 MAE를 69.52에서 65.24로 감소시켰고, ASIM은 63.85로, SAM은 Part A에서 61.59로 도달했다.
• 최적의 국소 패치 크기는 64×64로 확인되었으며, 이는 더 작은 크기(예: 16×16)는 충분한 맥락을 제공하지 못하고, 더 큰 크기(예: 128×128)는 정밀도를 떨어뜨린다.
• 최적의 혼합 성분 수량(K)은 3으로 확인되었으며, K를 이 이상으로 늘릴 경우 성능 향상이 미미하고 모델 복잡도가 증가한다.
• LCM 기반 학습은 밀도 맵 학습 대비 더 부드러운 수렴과 낮은 테스트 오차를 보였으며, MAE 및 MSE 손실 곡선을 통해 이를 확인할 수 있었다.