[논문 리뷰] Multi-scale Convolutional Neural Networks for Crowd Counting

Lingke Zeng, Xiangmin Xu외 3명|arXiv (Cornell University)|2017. 02. 08.

Video Surveillance and Tracking Methods인용 수 22

한 줄 요약

이 논문은 단일 컬럼 아키텍처를 사용하여 다양한 커널 크기를 가진 다중 척도 블롭(MSB)을 활용해 군중 수세기의 척도 관련 특징을 추출하는 다중 척도 컨볼루션 신경망(MSCNN)을 제안한다. 다중 컬럼 또는 다중 네트워크 아키텍처와는 달리, MSCNN는 매개변수 수를 크게 줄여 290만 개(비교 대상인 MCNN의 1920만 개 대비)로 줄여 상하이기술대 및 UCF_CC_50 데이터셋에서 최신 기술 수준의 정확도를 달성하며, 실세계 적용에 더 효율적이고 실용적이다.

ABSTRACT

Crowd counting on static images is a challenging problem due to scale variations. Recently deep neural networks have been shown to be effective in this task. However, existing neural-networks-based methods often use the multi-column or multi-network model to extract the scale-relevant features, which is more complicated for optimization and computation wasting. To this end, we propose a novel multi-scale convolutional neural network (MSCNN) for single image crowd counting. Based on the multi-scale blobs, the network is able to generate scale-relevant features for higher crowd counting performances in a single-column architecture, which is both accuracy and cost effective for practical applications. Complemental results show that our method outperforms the state-of-the-art methods on both accuracy and robustness with far less number of parameters.

연구 동기 및 목표

• perspective 왜곡으로 인해 사람의 크기가 매우 다를 수 있는 단일 이미지에서 척도 변화 문제를 해결한다.
• 다중 컬럼 또는 다중 네트워크 아키텍처에 의존하는 기존의 CNN 기반 방법의 한계를 극복한다. 이러한 방법들은 복잡성과 계산 비용을 증가시킨다.
• 별도의 컬럼이나 네트워크를 사전 훈련할 필요 없이도 고정확도와 높은 강건성을 유지하면서도 더 효율적이고 종단 간 훈련이 가능한 모델을 개발한다.
• 모델 크기와 계산 오버헤드를 최소화하면서도 성능을 유지함으로써 군중 수세기 모델의 실용적 구현을 가능하게 한다.

제안 방법

• 인셉션 아키텍처를 영감으로 삼아, 서로 다른 커널 크기의 병렬 1×1, 3×3, 5×5, 7×7, 9×9 컨볼루션 필터를 사용하여 단일 컬럼 내에서 다중 척도 특징을 캡처하는 다중 척도 블롭(MSB) 모듈을 도입한다.
• 마지막 레이어를 제외한 각 컨볼루션 레이어 후에 ReLU 활성화 함수를 적용하고, 마지막 레이어에 ReLU를 적용하여 밀도 맵 출력이 음수가 되지 않도록 보장한다.
• 다중 척도 특징을 융합하고 최종 밀도 맵을 회귀하기 위해 1×1 컨볼루션 레이어(MLP)를 사용한다. 이를 통해 채널별 특징 변환과 차원 조절이 가능하다.
• 최대 풀링 레이어를 활용한 계층적 네트워크 구조를 구현하여 특징 맵을 다운샘플링하고 점진적으로 척도 인식 특징 표현을 정교화한다.
• 모든 커널에 대해 표준 정규분포 초기화(σ = 0.01)를 적용하고, 확률적 경사 하강법(SGD)에 관성항(0.9)과 가중치 감쇠(0.0005)를 사용하여 네트워크를 종단 간 훈련한다.
• 특히 UCF_CC_50와 같이 작은 데이터셋에서의 다양성을 높이기 위해 무작위 컷오프 및 플립을 통한 데이터 증강을 적용한다.

실험 결과

연구 질문

• RQ1 다중 컬럼 또는 다중 네트워크 설계에 의존하지 않고도 단일 컬럼 CNN 아키텍처가 군중 수세기에서 척도 관련 특징을 효과적으로 캡처할 수 있는가?
• RQ2 제안된 다중 척도 블롭(MSB) 메커니즘이 전통적인 단일 커널 또는 다중 컬럼 CNN보다 정확도와 매개변수 효율성 측면에서 뛰어나게 성능을 발휘하는가?
• RQ3 MSCNN 모델이 실제 감시 영상에서 관찰되는 다양한 군중 밀도 분포와 척도 변화에 대해 강건하게 일반화 가능한가?
• RQ4 모델 매개변수를 줄임으로써 성능을 훼손하지 않으면서도 실용적 구현 가능성은 어느 정도 향상되는가?

주요 결과

• 상하이기술대 데이터셋의 Part_A에서 MSCNN은 MAE 83.8을 기록하여 MCNN 및 Zhang 등 [11]의 이전 방법들을 모두 능가했다. Part_B에서는 MAE 127.4를 기록했다.
• UCF_CC_50 데이터셋에서 MSCNN은 MAE 363.7과 MSE 468.4를 기록하여 더 복잡한 CrowdNet(MAE: 452.5)과 MCNN(MAE: 377.6) 모델을 뛰어넘었다.
• MSCNN는 오직 290만 개의 매개변수만을 사용하며, CrowdNet(1480만 개)의 약 5배, MCNN(1920만 개)의 약 7배 적은 매개변수를 사용하여 뛰어난 매개변수 효율성을 입증했다.
• 단순한 종단 간 훈련 가능한 아키텍처를 통해 두 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 별도의 다중 컬럼 구성 요소 사전 훈련이 필요 없었다.
• 제거 실험을 통해 다중 척도 블롭 설계가 척도 불변 특징을 효과적으로 캡처하여 시각 왜곡과 가림 현상에 대한 강건성을 향상시킨다는 것이 확인되었다.
• MSB와 1×1 컨볼루션 융합의 조합은 최소한의 계산 오버헤드로 높은 품질의 밀도 맵 회귀를 가능하게 했다.