[논문 리뷰] Enhanced 3D Convolutional Networks for Crowd Counting

Zhikang Zou, Huiliang Shao외 3명|arXiv (Cornell University)|2019. 08. 12.

Video Surveillance and Tracking Methods참고 문헌 36인용 수 13

한 줄 요약

이 논문은 영상 기반의 인파 수세기 위해 공간시계적 특징과 전역적 맥락을 동시에 모델링하는 데에 3D 컨볼루션과 시간적 채널 인지(TCA) 블록을 활용하는 새로운 아키텍처인 향상된 3D 컨volution 네트워크(E3D)를 제안한다. 국소적 3D 컨볼루션과 전역적 맥락 인지 채널 재조정을 통합함으로써 E3D는 세 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, TRANCOS에서 차량 수세기 작업으로도 효과적으로 일반화된다.

ABSTRACT

Recently, convolutional neural networks (CNNs) are the leading defacto method for crowd counting. However, when dealing with video datasets, CNN-based methods still process each video frame independently, thus ignoring the powerful temporal information between consecutive frames. In this work, we propose a novel architecture termed as "temporal channel-aware" (TCA) block, which achieves the capability of exploiting the temporal interdependencies among video sequences. Specifically, we incorporate 3D convolution kernels to encode local spatio-temporal features. Furthermore, the global contextual information is encoded into modulation weights which adaptively recalibrate channel-aware feature responses. With the local and global context combined, the proposed block enhances the discriminative ability of the feature representations and contributes to more precise results in diverse scenes. By stacking TCA blocks together, we obtain the deep trainable architecture called enhanced 3D convolutional networks (E3D). The experiments on three benchmark datasets show that the proposed method delivers state-of-the-art performance. To verify the generality, an extended experiment is conducted on a vehicle dataset TRANCOS and our approach beats previous methods by large margins.

연구 동기 및 목표

• 기존의 CNN 기반 인파 수세기 방법들이 영상 프레임을 독립적으로 다루며 유용한 시간적 종속성을 忽시하는 한계를 해결하기 위해.
• 영상 시퀀스에서 국소적 공간시계적 특징과 전역적 맥락 정보를 동시에 모델링하여 특징 표현을 향상시키기 위해.
• 시간에 따라 변화하는 인파 패턴을 효과적으로 캡처하면서도 계산 효율성을 유지하는 깊이 있는 학습 가능한 아키텍처를 개발하기 위해.
• 제안된 방법이 인파 수세기 외에도 차량 수세기 응용 등 다른 수세기 작업으로도 일반화될 수 있음을 입증하기 위해.

제안 방법

• 영상 클립에서 국소적 공간시계적 특징을 추출하기 위해 3D 컨볼루션 커널을 조합한 새로운 시간적 채널 인지(TCA) 블록을 제안한다.
• 모odulation 가중치에 전역적 맥락 정보를 통합하여 채널별 특징 반응을 적응적으로 재조정함으로써 판별력을 향상시킨다.
• 학습 안정화와 깊은 네트워크에 다수의 블록을 스택할 수 있도록 TCA 블록 내부에 짧은 skip connection을 사용한다.
• 다수의 TCA 블록을 스택하여 공간시계적 표현의 엔드 투 엔드 학습이 가능한 향상된 3D 컨볼루션 네트워크(E3D)를 구성한다.
• 3D 컨볼루션을 2D 컨볼루션으로 대체하여 시간 모델링의 필요성을 평가하기 위해 열악한 변형(E2D)을 설계한다.
• 단서 분석을 통해 프레임 길이, TCA 블록 수, 구성 요소 설정 등의 초모델 하이퍼파rameter를 최적화한다.

실험 결과

연구 질문

• RQ1 3D 컨볼루션 네트워크는 영상 시퀀스의 시간적 종속성을 효과적으로 활용하여 인파 수세기 성능을 향상시킬 수 있는가?
• RQ2 국소적 공간시계적 특징과 전역적 맥락 정보를 통합할 경우, 인파 수세기 모델의 정확도에 어떤 영향을 미치는가?
• RQ3 영상 인파 수세기 작업에서 최고 성능을 내기 위해 최적의 프레임 수와 TCA 블록 수는 얼마인가?
• RQ4 제안된 방법은 인파 수세기 외에도 차량 수세기와 같은 다른 수세기 작업으로 일반화될 수 있는가?

주요 결과

• E3D는 WorldExpo’10, UCSD, MALL 세 가지 벤치마크 인파 수세기 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 평균 절대 오차(MAE)는 각각 2.8, 12.5, 12.9를 기록했다.
• 단서 분석 결과, 전역 맥락 브랜치를 제거할 경우 UCSD에서 MAE가 0.93에서 1.00으로 증가함을 확인하여 전역 맥락 통합의 효과를 입증했다.
• 입력 프레임 수를 8에서 16으로 늘일 경우 성능이 크게 향상되며(MAE는 1.27에서 0.93로 감소), 충분한 시간적 맥락이 필수적임을 시사한다.
• TCA 블록의 최적 수는 8개이며, 이때 UCSD에서 가장 낮은 MAE 0.93을 기록한다. 블록 수가 적거나 많아지면 성능이 저하된다.
• TRANCOS 차량 수세기 데이터셋에서 E3D는 MAE 0.93을 기록하여 이전 방법들보다 크게 뛰어나 성능을 확보하였으며, 이는 일반화 능력을 확인하는 데 기여한다.
• 열악한 E2D 변형(2D 컨볼루션 사용)은 여전히 양호한 성능(MAE = 1.00 on UCSD)을 보이며, 공간 모델링만으로도 효과적이지만, 시간 데이터가 가용할 경우 3D 컨볼루션의 성능 향상 효과가 뚜렷하다.