[논문 리뷰] In Defense of Single-column Networks for Crowd Counting

Ze Wang, Zehao Xiao외 4명|arXiv (Cornell University)|2018. 08. 18.

Video Surveillance and Tracking Methods참고 문헌 30인용 수 10

한 줄 요약

이 논문은 잔차 융합 모듈(RFMs)을 활용해 다중 척도 특징을 추출하고, 피라미드 풀링 모듈(PPM)을 통해 맥락 정보를 집약하며, 이중선형 보간을 통한 서브픽셀 합성곱 모듈(SPCM)을 통해 효율적인 해상도 복구를 수행하는 단일 컬럼 컨볼루션 네트워크(Single-Column Counting Network, SCNet)를 제안한다. SCNet은 세 가지 벤치마크 데이터셋에서 다중 컬럼 대비 우수한 성능을 기록하며, 상하이테크 Part A(71.9), Part B(9.3), UCF CC 50(280.5 MAE)에서 가장 낮은 MAE를 기록하여 단일 컬럼 네트워크가 정확도를 희생하지 않고도 매우 효과적으로 군중 수세기 작업을 수행할 수 있음을 입증한다.

ABSTRACT

Crowd counting usually addressed by density estimation becomes an increasingly important topic in computer vision due to its widespread applications in video surveillance, urban planning, and intelligence gathering. However, it is essentially a challenging task because of the greatly varied sizes of objects, coupled with severe occlusions and vague appearance of extremely small individuals. Existing methods heavily rely on multi-column learning architectures to extract multi-scale features, which however suffer from heavy computational cost, especially undesired for crowd counting. In this paper, we propose the single-column counting network (SCNet) for efficient crowd counting without relying on multi-column networks. SCNet consists of residual fusion modules (RFMs) for multi-scale feature extraction, a pyramid pooling module (PPM) for information fusion, and a sub-pixel convolutional module (SPCM) followed by a bilinear upsampling layer for resolution recovery. Those proposed modules enable our SCNet to fully capture multi-scale features in a compact single-column architecture and estimate high-resolution density map in an efficient way. In addition, we provide a principled paradigm for density map generation and data augmentation for training, which shows further improved performance. Extensive experiments on three benchmark datasets show that our SCNet delivers new state-of-the-art performance and surpasses previous methods by large margins, which demonstrates the great effectiveness of SCNet as a single-column network for crowd counting.

연구 동기 및 목표

• 군중 수세기에서 다중 척도 특징 학습을 효과적으로 수행하기 위해 다중 컬럼 아키텍처가 필수적라는 일반적인 가정을 도전하기 위해.
• 계산 비용을 줄이면서도 높은 정확도를 유지하는 경량 단일 컬럼 네트워크를 개발하기 위해.
• 제한된 훈련 데이터에서 일반화 성능을 향상시키기 위해 온라인 샘플링과 다중 척도 훈련을 포함한 체계적인 데이터 준비 파라다임을 도입하기 위해.
• 파rameter가 많은 보조 네트워크 없이도 효율적인 해상도 복구와 정확한 밀도 맵 추정이 가능함을 입증하기 위해.

제안 방법

• 잔차 융합 모듈(RFMs)은 확장 컨볼루션과 스킵 연결을 사용하여 단일 경로에서 다중 척도 특징을 추출한다.
• 피라미드 풀링 모듈(PPM)은 다양한 척도에서 맥락 정보를 집약하여 의미 표현을 향상시킨다.
• 서브픽셀 합성곱 모듈(SPCM)에 이어 이중선형 보간을 적용하여 추가 학습 파rameter 없이 고해상도 특징을 복구한다.
• 모델의 강건성을 향상시키기 위해 온라인 샘플링과 다중 척도 훈련을 포함한 체계적인 데이터 증강 전략을 사용해 훈련한다.
• 공간적 세부 정보를 유지하는 비모수적이고 미분 가능한 해상도 복구 과정을 통해 밀도 맵을 생성한다.
• 전체 아키텍처는 엔드 투 엔드로 훈련 가능하며 추론 효율성 최적화를 위해 설계되어 있다.

실험 결과

연구 질문

• RQ1 다중 컬럼 아키텍처에 의존하지 않고도 단일 컬럼 네트워크가 군중 수세기에서 SOTA 성능을 달성할 수 있는가?
• RQ2 잔차 융합 모듈과 피라미드 풀링은 압축된 단일 경로 설계 내에서 다중 척도 특징을 얼마나 효과적으로 포착할 수 있는가?
• RQ3 온라인 샘플링과 다중 척도 훈련은 제한된 군중 수세기 데이터셋에서 모델의 일반화 성능을 얼마나 향상시킬 수 있는가?
• RQ4 SPCM 기반의 파라미터 없는 해상도 복구 방식은 계산 오버헤드를 줄이며 정확도를 유지할 수 있는가?

주요 결과

• SCNet은 상하이테크 Part A(71.9)와 Part B(9.3)에서 모든 이전 방법보다 낮은 MAE를 기록하며 최고의 성능을 달성한다.
• UCF CC 50에서 SCNet은 가장 낮은 MAE(280.5)와 경쟁적인 MSE(332.8)를 기록하여 매우 다양한 소규모 데이터셋에서도 강력한 일반화 성능을 입증한다.
• WorldExpo’10에서 SCNet은 평균 MAE가 가장 낮은(8.4) 성능을 기록하며 다섯 개 테스트 시나리오 중 세 곳에서 1위를 차지한다.
• 제거 실험 결과, 온라인 샘플링과 다중 척도 훈련이 성능 향상에 크게 기여하며, 상하이테크 Part B에서 MAE를 10.6에서 9.3으로 감소시킴을 확인한다.
• SPCM 기반의 해상도 복구 방식은 추가 파라미터 없이도 정확한 고해상도 밀도 맵 예측을 가능하게 한다.
• 제안된 단일 컬럼 아키텍처는 다중 컬럼 대비 더 낮은 계산 비용으로 SOTA 성능을 달성하여 효율성과 효과성을 입증한다.