[논문 리뷰] Structured Inhomogeneous Density Map Learning for Crowd Counting

Hanhui Li, Xiangjian He외 5명|arXiv (Cornell University)|2018. 01. 20.

Video Surveillance and Tracking Methods참고 문헌 25인용 수 12

한 줄 요약

이 논문은 2D 밀도 맵을 3차원으로 확장하여 밀도 수준을 표현하는 제3차원 구조적 밀도 맵 학습 방법을 제안한다. 이 방법은 단일 밀도 인식 네트워크(Density-Aware Network, DAN)를 사용하여 학습 안정성을 향상시키고, 상하이테크 A 및 B와 같은 과밀도 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다. 특히 Part B에서 평균 절대 오차(MAE)는 81.8을 기록한다.

ABSTRACT

In this paper, we aim at tackling the problem of crowd counting in extremely high-density scenes, which contain hundreds, or even thousands of people. We begin by a comprehensive analysis of the most widely used density map-based methods, and demonstrate how easily existing methods are affected by the inhomogeneous density distribution problem, e.g., causing them to be sensitive to outliers, or be hard to optimized. We then present an extremely simple solution to the inhomogeneous density distribution problem, which can be intuitively summarized as extending the density map from 2D to 3D, with the extra dimension implicitly indicating the density level. Such solution can be implemented by a single Density-Aware Network, which is not only easy to train, but also can achieve the state-of-art performance on various challenging datasets.

연구 동기 및 목표

• 비균일한 밀도 분포로 인해 딥 네트워크가 과밀도 군중 수세기에서 성능이 열 劣하는 문제를 해결한다.
• 비균일한 밀도 분포가 기울기 폭주 및 외곽치에 대한 민감도와 같은 최적화 문제를 유발함을 규명한다.
• 2D 밀도 맵을 3D 구조적 맵으로 변환하여 밀도 수준을 암묵적으로 인코딩함으로써 단순하면서도 효과적인 해결책을 제안한다.
• 밀도 수준에 대한 회귀와 분류를 동시에 수행하는 단일 가속화 가능한 밀도 인식 네트워크(DAN)를 개발한다.
• 제안된 방법이 벤치마크 데이터셋에서 최신 기술 수준 성능을 달성하며, 더 높은 강인성과 일반화 능력을 확보함을 입증한다.

제안 방법

• 밀도 범위를 이산 수준으로 나누어 2D 진짜 밀도 맵을 3D 구조적 밀도 맵으로 변환한다 (예: [9, 25, 49, 81]).
• 밀도 추정과 수준 분류 양쪽을 동시에 학습하기 위해 회귀 손실(허버 손실)과 분류 손실을 조합한 다중 수준 손실 함수를 정의한다.
• 학습 안정성 향상과 기울기 폭주 방지를 위해 스킵 연결과 배치 정규화를 적용한 수정된 VGG-16 백본을 사용한다.
• 각 브랜치가 특정 밀도 수준의 밀도 맵을 예측하도록 다중 브랜치 아키텍처를 구현하여 국소화된 학습과 일반화 능력을 향상시킨다.
• 더 어려운 샘플(예: 과밀도 영역)을 우선적으로 처리하기 위해 손실 함수에 가중치 전략을 적용하여 모델의 강인성을 향상시킨다.
• L2 손실과 허버 손실의 조합을 사용한 엔드 투 엔드 최적화로 네트워크를 훈련시켜 과밀도 상황에서도 안정적인 수렴을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 네트워크는 표현 능력이 뛰어나지만, 과밀도 군중 수세기에서는 왜 일반화 성능이 열 劣하는가?
• RQ2 군중 이미지의 비균일한 밀도 분포가 딥 러닝 모델의 최적화 과정에 어떤 영향을 미치는가?
• RQ3 2D 밀도 맵을 3D 구조적 맵으로 변환하는 것이 외곽치의 영향을 줄이고 학습 안정성을 향상시키는가?
• RQ4 복잡한 다중 서넷 아키텍처 대신 단일 통합 네트워크로 최신 기술 수준 성능을 달성할 수 있는가?
• RQ5 밀도 수준의 수(브랜치 수)가 모델의 성능과 강인성에 어떤 영향을 미치는가?

주요 결과

• 군중 이미지의 비균일한 밀도 분포로 인해 극단적인 외곽치와 비균일한 밀도 변화로 인해 기울기 폭주 및 수렴 불량 현상이 발생하며, 이는 특히 깊은 네트워크에서 심화된다.
• ℓ₂ 손실을 사용해 VGG-16을 직접 훈련시키면 기울기 폭주로 인해 실패함을 확인하여, 외곽치와 비균일한 밀도로 인한 불안정성이 확인된다.
• 허버 손실과 다중 브랜치 구조를 갖춘 제안된 밀도 인식 네트워크(DAN)는 깊은 네트워크의 안정적 훈련을 성공적으로 수행하였으며, 상하이테크 Part B에서 MAE 81.8을 달성하였다.
• DAN-1-H(허버 손실 사용)는 MAE 87.0을 기록했지만, 가중치 손실를 적용한 DAN-1은 84.3으로 향상되어 손실 가중치 전략의 효과를 입증하였다.
• 브랜치 수가 많아질수록 성능 향상이 뚜렷해지며, 예를 들어 임계값 [9, 49, 121, 25]를 가진 4개 브랜치에서는 이상적 템플릿을 더 잘 근사하고 더 많은 국소 모델을 앙상블함으로써 성능 향상이 이루어진다.
• 정성적 결과에서는 예측된 구조적 밀도 맵이 명확히 4개 수준으로 나뉘어져 있음을 확인하였으며, 이는 모델이 동시에 회귀와 분류를 수행할 수 있음을 검증한다.