[논문 리뷰] Context-Aware Crowd Counting

Weizhe Liu, Mathieu Salzmann외 1명|arXiv (Cornell University)|2018. 11. 26.

Video Surveillance and Tracking Methods참고 문헌 43인용 수 6

한 줄 요약

이 논문은 시각적 왜곡이 심한 상황에서도 정확도를 크게 향상시키기 위해 공간적으로 변화하는 스케일 맥락을 모델링할 수 있도록 다중 수용장치 특징을 적응적으로 조합하는 엔드 투 엔드 학습이 가능한 딥 아키텍처를 제안한다. 위치별로 특징의 중요도를 학습함으로써, 특히 강한 투시 왜곡 상황에서의 정확도 향상이 두드러진다. 이 방법은 상하이테크 Part A, UCF_QNRF, 그리고 강한 투시 왜곡을 가진 새로운 베니스 데이터셋을 포함한 여러 벤치마크에서 최신 기술을 능가한다.

ABSTRACT

State-of-the-art methods for counting people in crowded scenes rely on deep networks to estimate crowd density. They typically use the same filters over the whole image or over large image patches. Only then do they estimate local scale to compensate for perspective distortion. This is typically achieved by training an auxiliary classifier to select, for predefined image patches, the best kernel size among a limited set of choices. As such, these methods are not end-to-end trainable and restricted in the scope of context they can leverage. In this paper, we introduce an end-to-end trainable deep architecture that combines features obtained using multiple receptive field sizes and learns the importance of each such feature at each image location. In other words, our approach adaptively encodes the scale of the contextual information required to accurately predict crowd density. This yields an algorithm that outperforms state-of-the-art crowd counting methods, especially when perspective effects are strong.

연구 동기 및 목표

• 투시 왜곡으로 인해 공간적으로 변화하는 스케일을 고려하지 못하는 고정된 수용장치 컨볼루션의 한계를 해결하기 위해.
• 각 이미지 위치에서 최적의 맥락 정보 스케일을 학습할 수 있는 엔드 투 엔드 학습 가능한 아키텍처를 개발하기 위해.
• 고밀도 및 투시 왜곡이 심한 장면에서의 밀도 추정 정확도를 향상시키기 위해, 특히 校정되지 않은 또는 모바일 카메라 설정에서도 성능을 개선하기 위해.
• 가용한 기하학적 校정 데이터를 통합하여 국소적 스케일 추정을 정밀하게 보완함으로써 성능을 추가로 향상시키기 위해.

제안 방법

• 다양한 크기의 컨볼루션 수용장치를 사용하여 다중 스케일 맥락을 캐치하는 특징을 추출한다.
• 각 스케일 특징 맵에 대해 공간적으로 변화하는 가중치 맵을 학습하여 국소 이미지 맥락에 기반한 적응적 융합을 가능하게 한다.
• 주의 힘을 계산하기 위해 대trast 기반 가중치 메커니즘을 도입하여, 네트워크가 관련 맥락 스케일을 더 잘 구별할 수 있도록 한다.
• 보조 분류기나 패치 수준의 스케일 예측 없이, 밀도 맵에 표준 회귀 손실을 사용하여 엔드 투 엔드로 아키텍처를 학습한다.
• 교정 데이터가 가용할 경우, 투시 기반 기하 제약 조건을 도입하여 국소적 스케일 추정을 정밀하게 한다.
• 디코더 서브네트워크는 가중치가 부여된 다중 스케일 특징을 사용하여 최종 군중 밀도 맵을 예측한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 딥 러닝 모델이 투시 왜곡 하에서 다중 스케일 특징을 적응적으로 융합하여 군중 수세기 성능을 향상시킬 수 있는가?
• RQ2 고정 또는 패치 기반 스케일 선택 대비 공간적으로 변화하는 특징 중요도를 학습하는 것이 군중 수세기에서 어떤 차이를 만드는가?
• RQ3 기하학적 교정 데이터를 통합할 경우, 투시 왜곡이 심한 장면에서 성능 향상 정도는 어느 정도인가?
• RQ4 대비 기반 특징 가중치가 모델의 관련 맥락 스케일 선택 능력을 향상시키는가?
• RQ5 이 모델은 강한 투시 효과를 보이는 校정되지 않은 실세계 장면으로 일반화 가능한가?

주요 결과

• 상하이테크 Part A 데이터셋에서 제안된 방법(OURS-CAN)은 MAE 23.5와 RMSE 38.9를 기록하여 CSRNet(35.8 MAE)과 MCNN(145.4 MAE)를 모두 능가한다.
• UCF_QNRF 데이터셋에서 OURS-CAN은 MAE 20.5와 RMSE 29.9를 기록하여 이전 최신 기술보다 뚜렷이 승리한다.
• 교정 데이터를 사용할 경우(베니스 데이터셋), OURS-ECAN은 MAE를 20.5로, RMSE를 29.9로 더 줄여 기하학적 사전 지식의 유용성을 입증한다.
• 절단 실험 결과, 특징 연결과 대비 기반 가중치 모두 성능 향상에 크게 기여하며, 전체 모델(OURS-CAN)이 간단한 베이스라인보다 크게 승리한다.
• 시각적 분석(그림 7)은 모델 예측값이 투시 왜곡에 맞게 정규화되어 있으며, 지상 진실 밀도와 지면 상에서 잘 일치함을 확인한다.
• 특히 투시 왜곡이 뚜렷한 베니스 데이터셋에서 고밀도 영역과 강한 투시 효과 하에서도 뛰어난 성능을 기록한다.