[논문 리뷰] CrowdMLP: Weakly-Supervised Crowd Counting via Multi-Granularity MLP

Mingjie Wang, Jun Zhou외 2명|arXiv (Cornell University)|2022. 03. 15.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

CrowdMLP는 총 인원 수를 회귀하는 데에만 계수 수준의 애너테이션을 사용하는 약한 감독 기반의 군중 수세기 방법을 제안한다. 이는 다중 해상도 MLP 회귀기로 전역적 종속성을 모델링하고, 일반화를 향상시키기 위해 자기 지율형 프록시 작업(Split-Counting)을 활용한다. 이는 밀도 맵 애너테이션 없이도 최신의 위치 수준 감독 방법과 동등한 성능을 달성한다.

ABSTRACT

Existing state-of-the-art crowd counting algorithms rely excessively on location-level annotations, which are burdensome to acquire. When only count-level (weak) supervisory signals are available, it is arduous and error-prone to regress total counts due to the lack of explicit spatial constraints. To address this issue, a novel and efficient counter (referred to as CrowdMLP) is presented, which probes into modelling global dependencies of embeddings and regressing total counts by devising a multi-granularity MLP regressor. In specific, a locally-focused pre-trained frontend is cascaded to extract crude feature maps with intrinsic spatial cues, which prevent the model from collapsing into trivial outcomes. The crude embeddings, along with raw crowd scenes, are tokenized at different granularity levels. The multi-granularity MLP then proceeds to mix tokens at the dimensions of cardinality, channel, and spatial for mining global information. An effective proxy task, namely Split-Counting, is also proposed to evade the barrier of limited samples and the shortage of spatial hints in a self-supervised manner. Extensive experiments demonstrate that CrowdMLP significantly outperforms existing weakly-supervised counting algorithms and performs on par with state-of-the-art location-level supervised approaches.

연구 동기 및 목표

• 비용이 많이 드는 위치 수준(밀도 맵) 애너테이션의 필요성을 제거함으로써 군중 수세기의 애너테이션 부담을 줄이기 위해.
• 전체 계수 레이블만을 사용하는 약한 감독 하에 잘 일반화되는 강건한 회귀 모델을 개발하기 위해.
• 계수 수준 학습에서 공간 감독의 부족으로 인한 성능 저하를 완화하기 위해.
• 자기 지율형 프록시 작업을 도입하여 암묵적으로 공간 제약을 분리하고 특징 학습을 향상시키기 위해.
• 쉽게 확보할 수 있는 계수 수준 애너테이션을 사용하여 확장 가능하고 대규모 데이터셋을 구축할 수 있도록 하기 위해.

제안 방법

• 모델 붕괴를 방지하기 위해 고유한 공간 정보를 내재한 국소 중심의 사전 훈련된 CNN 프론트엔드가 저수준 특징을 추출한다.
• 원본 입력 이미지와 특징 맵이 다중 해상도 수준(카디널리티, 채널, 공간)에서 토큰화되어 계층적인 토큰 시퀀스를 형성한다.
• 다중 해상도 MLP 회귀기가 차원 간 토큰을 혼합하여 장거리 전역적 종속성을 캡처하고 전역적 맥락을 모델링한다.
• 학습을 정규화하기 위해 이미지를 영역으로 분할하고 하위 계수를 예측하는 자기 지율형 프록시 작업인 Split-Counting을 도입한다.
• 고수준 MLP 헤드를 사용하여 전역 임베딩에서 직접 연속적인 계수 값 하나를 예측한다.
• T-SNE 시각화를 통해 학습된 특징 표현을 분석하고 장면 유형과 밀도에 따라 군집화 여부를 평가한다.

Figure 1: The categories of crowd counter under distinct supervisory signals. (a) Learn from an entire set of location-level density maps. (b) Learn from density maps of partially selected images. (c) Learn from density maps of partial regions in crowd scenes. (d) Our approach learns directly from l

실험 결과

연구 질문

• RQ1 약한 감독 하에 순수하게 MLP 기반 아키텍처가 계수 수세기에서 전역 맥락을 효과적으로 모델링할 수 있는가?
• RQ2 다중 해상도 토큰 혼합은 표준 MLP나 CNN에 비해 성능을 어떻게 향상시키는가?
• RQ3 자기 지율형 Split-Counting 프록시 작업이 공간 감독 없이 오차를 얼마나 줄이고 일반화를 향상시키는가?
• RQ4 계수 수준 레이블만으로 훈련된 모델이 밀도 맵 전체 감독으로 훈련된 모델과 비교해 성능을 유사하게 달성할 수 있는가?
• RQ5 다양한 장면에서 척도 변화, 밀도 이동, 의미적 변화에 대해 모델은 얼마나 잘 대처하는가?

주요 결과

• CrowdMLP는 ShanghaiTech Part A에서 평균 절대 오차(MAE) 57.828을 기록하여 최신의 위치 수준 감독 모델과 동등한 성능을 달성한다.
• 동일한 파rameter 예산 하에서 CNN 기반(Crowd-CNN) 및 Transformer 기반(Crowd-Transformer) 기준선보다 성능이 뛰어나다.
• Split-Counting 프록시 작업의 포함으로 MAE가 0.55% 향상되고 MSE가 0.32% 향상되어 실제 오차 감소 효과를 확인한다.
• T-SNE 시각화 결과, 모델은 구분 가능한 장면 인식 특징을 학습하며, 고밀도 이미지가 서로 군집되고 장면 의미에 따라 명확한 그룹이 형성됨을 보여준다.
• 스ไล딩 윈도우 추론 결과, CrowdMLP는 전경 사람과 배경을 구분하고 단일 이미지 내에서 극단적인 척도 및 밀도 변화에 적응할 수 있음을 입증한다.
• 모델은 오직 26.63M 파라미터로 강력한 성능을 달성하였으며, 더 큰 36.43M 파라미터를 가진 Transformer 기반 변형보다도 뛰어난 성능을 보였다.

Figure 2: The overall architecture of CrowdMLP, which is featured by coarse-to-fine token streams, multi-granularity MLP, and self-supervised proxy task.