[논문 리뷰] A Deeply-Recursive Convolutional Network for Crowd Counting

Xinghao Ding, Zhi-Rui Lin외 3명|arXiv (Cornell University)|2018. 05. 15.

Video Surveillance and Tracking Methods인용 수 16

한 줄 요약

이 논문은 임베디드 장치에 효율적으로 구현 가능한 깊이 재귀 잔차망(DR-ResNet)을 제안한다. 이는 동일한 잔차 블록을 반복적으로 재사용함으로써 파라미터 수를 0.028만 개로 줄여 기존 최고 성능(SOTA) 모델보다 500배 이상 적게 사용하면서도 높은 정확도를 유지한다. DR-ResNet은 상하이기술대 및 UCF_CC_50 데이터셋에서 최고 성능을 기록하였고, 새로운 실생활 베이징 BRT 데이터셋에서도 뛰어난 성능을 보이며 조명, 그림자, 스케일 변화와 같은 실생활 감시 환경에서의 강건성을 입증하였다.

ABSTRACT

The estimation of crowd count in images has a wide range of applications such as video surveillance, traffic monitoring, public safety and urban planning. Recently, the convolutional neural network (CNN) based approaches have been shown to be more effective in crowd counting than traditional methods that use handcrafted features. However, the existing CNN-based methods still suffer from large number of parameters and large storage space, which require high storage and computing resources and thus limit the real-world application. Consequently, we propose a deeply-recursive network (DR-ResNet) based on ResNet blocks for crowd counting. The recursive structure makes the network deeper while keeping the number of parameters unchanged, which enhances network capability to capture statistical regularities in the context of the crowd. Besides, we generate a new dataset from the video-monitoring data of Beijing bus station. Experimental results have demonstrated that proposed method outperforms most state-of-the-art methods with far less number of parameters.

연구 동기 및 목표

• 기존의 CNN 기반 인파 계수 모델이 자원 제약이 있는 임베디드 장치에 구현할 때 요구하는 높은 계산 및 저장 요구량 문제를 해결하기 위해.
• 파라미터 수가 줄어들어도 성능을 유지할 수 있는 경량이면서 정확한 인파 계수 모델을 개발하기 위해.
• glare, 그림자, 변동하는 조명 조건과 같은 어려운 실생활 조건을 갖춘 스마트 교통 응용을 위해 특별히 설계된 새로운 실생활 데이터셋인 베이징 BRT를 제안하기 위해.
• 잔차 블록의 재귀적 재사용이 파라미터 수를 늘리지 않으면서도 네트워크 깊이를 증가시켜 특징 학습 능력과 일반화 성능을 향상시킬 수 있음을 입증하기 위해.
• 다양한 데이터셋(희박, 고밀도, 실생활 장면 포함)에서 모델의 강건성을 검증하기 위해.

제안 방법

• 제안된 DR-ResNet는 동일한 잔차 블록을 반복적으로 재사용하여 파라미터 수를 유지하면서 깊이를 증가시키는 재귀적 잔차 블록 아키텍처를 사용한다.
• 각 잔차 블록은 배치 정규화와 ReLU 활성화 함수를 거친 두 개의 컨볼루션 레이어로 구성되며, 스트라이드 연결을 통해 연결된다.
• 두 번째 잔차 모듈에서 재귀 레이어 간에 가중치 공유를 적용하여 파라미터 효율성을 유지하면서도 효과적인 깊이를 증가시킨다.
• 밀도 맵은 고밀도 인파에는 기하학적 적응형 가우시안 커널을, 희박한 장면에는 고정 크기의 커널을 사용하여 국소화 정확도를 향상시킨다.
• 예측된 밀도 맵을 통합하여 인파 수를 추정하며, 공식 $ F(x) = \sum_{i=1}^{N} \delta(x - x_i) * G_{\sigma_i} $ 를 사용한다. 여기서 $ \sigma_i = \beta \bar{d}_i $ 이며, $ \beta = 0.3 $ 이다.
• 상하이기술대 데이터셋의 훈련 다양성을 향상시키기 위해 무작위 컷팅 및 수평 플립을 활용한 데이터 증강 기법을 적용한다.

실험 결과

연구 질문

• RQ1 재귀적 잔차 네트워크 아키텍처가 기존 모델보다 훨씬 적은 파라미터로도 높은 인파 계수 정확도를 달성할 수 있는가?
• RQ2 그림자, 반사광, 변동하는 조명 조건과 같은 어려운 시각적 조건을 갖춘 실생활 감시 데이터에서 제안된 DR-ResNet의 성능은 어떠한가?
• RQ3 재귀적 설계가 모델 복잡도를 증가시키지 않으면서도 다중 척도 및 맥락적 특징을 효과적으로 포착할 수 있는가?
• RQ4 ShanghaiTech 및 UCF_CC_50와 같은 벤치마크 데이터셋에서 DR-ResNet의 성능은 SOTA 기법과 비교해 어떻게 되는가?
• RQ5 새로운 베이징 BRT 데이터셋은 스마트 교통 응용을 위한 더 현실적인 평가 기준을 제공하는가?

주요 결과

• 베이징 BRT 데이터셋에서 DR-ResNet은 평균 절대 오차(MAE) 1.39와 평균 제곱 오차(MSE) 2.00을 기록하여 MCNN(MAE: 2.24, MSE: 3.35) 및 FCN(MAE: 1.74, MSE: 2.43)을 모두 능가한다.
• 상하이기술대 Part_B 데이터셋에서 DR-ResNet은 MAE 124.2와 MSE 21.0을 기록하였으며, ResNet-14(MAE: 137.1, MSE: 27.8)를 능가하고 일부 설정에서는 CP-CNN보다도 더 강건한 성능을 보였다.
• 단지 0.028만 개의 파라미터를 가진 상태에서도 DR-ResNet은 Switch-CNN(15.1M) 및 CP-CNN(62.9M)와 같은 1,500만 개 이상의 파라미터를 가진 모델들과 비교해도 유사하거나 더 뛰어난 성능을 기록하였다.
• UCF_CC_50 데이터셋에서 DR-ResNet은 높은 일반화 능력을 보이며, 단지 CP-CNN가 더 낮은 MAE(20.1)를 기록한 점을 고려할 때, 극단적인 스케일 및 크기 변화에 매우 강건함을 시사한다.
• 1,280장의 이미지와 16,795명의 레이블된 보행자를 포함한 제안된 베이징 BRT 데이터셋은 실생활 시각적 과제를 반영한 스마트 교통 응용을 위한 현실적인 평가 기준을 제공한다.
• 시각적 결과는 그림자와 반사광이 있는 복잡한 장면에서도 DR-ResNet이 정확한 인파 수 추정이 가능함을 보여주며, 실제 수치와 예측 수치가 유사한 경우가 많다(예: 32 vs. 34, 62 vs. 59).