[논문 리뷰] Understanding Traffic Density from Large-Scale Web Camera Data

Shanghang Zhang, Guanhang Wu외 2명|arXiv (Cornell University)|2017. 03. 17.

Video Surveillance and Tracking Methods참고 문헌 25인용 수 13

한 줄 요약

이 논문은 개별 차량을 검출하거나 추적하지 않고 저해상도, 고충혹성, 대규모 투영 왜곡이 있는 웹캠 영상에서 차량 밀도를 추정하기 위해 최적화 기반 순서 제약 회귀(OPT-RC)와 다중 작업 학습을 통한 완전 컨볼루션 네트워크(FCN-MT)라는 두 가지 방법을 제안한다. FCN-MT는 TRANCOS 데이터셋에서 평균 절대 오차(MAE)를 5.31로 줄여 기존 최고 성능 기준보다 뚜렷하게 뛰어나다.

ABSTRACT

Understanding traffic density from large-scale web camera (webcam) videos is a challenging problem because such videos have low spatial and temporal resolution, high occlusion and large perspective. To deeply understand traffic density, we explore both deep learning based and optimization based methods. To avoid individual vehicle detection and tracking, both methods map the image into vehicle density map, one based on rank constrained regression and the other one based on fully convolution networks (FCN). The regression based method learns different weights for different blocks in the image to increase freedom degrees of weights and embed perspective information. The FCN based method jointly estimates vehicle density map and vehicle count with a residual learning framework to perform end-to-end dense prediction, allowing arbitrary image resolution, and adapting to different vehicle scales and perspectives. We analyze and compare both methods, and get insights from optimization based method to improve deep model. Since existing datasets do not cover all the challenges in our work, we collected and labelled a large-scale traffic video dataset, containing 60 million frames from 212 webcams. Both methods are extensively evaluated and compared on different counting tasks and datasets. FCN based method significantly reduces the mean absolute error from 10.99 to 5.31 on the public dataset TRANCOS compared with the state-of-the-art baseline.

연구 동기 및 목표

• 저해상도, 고충혹성, 대규모 투영 왜곡이 있는 저품질 웹캠 영상에서 교통 밀도를 추정하는 과제를 해결한다.
• 저품질 영상과 낮은 프레임 레이트에서 실패하는 검출 기반 및 운동 기반 방법의 한계를 극복한다.
• 개별 차량 검출이나 추적을 피하고 이미지 수준의 통합적 접근을 통해 직접적으로 밀도 추정에 집중하는 종합적인 방법을 개발한다.
• 평가 및 벤치마킹을 지원하기 위해 6,000만 프레임과 46,796개의 레이블이 부여된 대규모 실생활 웹캠 데이터셋을 구축한다.
• 최적화 기반 방법으로부터의 통찰을 도출하여 딥 러닝 모델의 투영 및 스케일 변화에 대한 강건성을 향상시킨다.

제안 방법

• OPT-RC는 이미지 블록 별로 다른 가중치를 학습하기 위해 질서 제약 회귀를 사용하며, 도로 기하학적 정보를 통합하고 투영으로 인한 오차를 감소시킨다.
• 이 방법은 배경 제거와 SIFT 특징을 적용한 후, 낮은 질서 제약을 통해 공간 일관성을 강제함으로써 블록 수준의 특징을 차량 밀도로 매핑한다.
• FCN-MT는 수작업 특징 추출 요소를 완전 컨볼루션 네트워크로 대체하여 밀도 맵과 전경 마스크를 엔드 투 엔드로 학습할 수 있도록 한다.
• 잔차 학습 프레임워크를 활용해 차량 밀도와 카운트를 동시에 추정하며, 임의의 입력 해상도를 지원하고 스케일 변화에 적응할 수 있도록 한다.
• 모델은 디컨볼루션 레이어를 사용해 특징 맵을 업샘플링하여 입력 해상도와 일치하는 밀도 예측 출력을 생성한다.
• 양 방법 모두 개체 수준의 검출이나 추적을 피하고, 차량 밀도로 향한 이미지 수준의 통합적 회귀에 집중한다.

실험 결과

연구 질문

• RQ1 저해상도, 고충혹성, 대규모 투영 왜곡이 있는 웹캠 영상에서 질서 제약 최적화 프레임워크가 효과적으로 교통 밀도를 모델링할 수 있는가?
• RQ2 다중 작업 학습을 통한 엔드 투 엔드 딥 러닝은 전통적인 최적화 기반 방법에 비해 차량 밀도 추정 성능을 어떻게 향상시키는가?
• RQ3 최적화 기반 방법(OPT-RC)에서 도출된 통찰은 딥 러닝 모델(FCN-MT)의 설계 및 성능 향상에 어느 정도 기여하는가?
• RQ4 제안된 방법은 다양한 실생활 웹캠 환경에서 차량의 스케일, 투영, 이미지 품질 변화에 대해 얼마나 강건한가?
• RQ5 제안된 방법은 교통 카운팅을 초과하여 군중 카운팅과 같은 다른 카운팅 작업으로 일반화될 수 있는가?

주요 결과

• FCN-MT는 TRANCOS 데이터셋에서 평균 절대 오차(MAE)를 5.31로 줄여 기존 최고 성능 기준인 10.99보다 뚜렷하게 향상되었다.
• FCN-MT 모델은 단일 작업 기반 FCN-ST 및 모든 기준 모델을 능가하며, 밀도 추정에 다중 작업 학습의 효과를 입증했다.
• OPT-RC는 경쟁 수준의 성능(MAE = 12.41)을 달성했으며, 비딥 러닝 기반 기준 모델보다도 강건성을 입증했다.
• UCSD 군중 카운팅 데이터셋에서 FCN-MT는 MAE 1.67을 기록했으며, Cross-scene DNN(MAE = 1.60)와 같은 최고 수준의 딥 러닝 방법과 유사한 성능을 보였다.
• FCN-MT 모델은 배경 제거를 필요로 하지 않으며, 분류 가능한 계층적 특징을 학습함으로써 OPT-RC와는 달리 이를 중시하지 않는다.
• 체크리스트 무늬와 같은 경미한 아티팩트가 존재하지만, FCN-MT는 다양한 카운팅 작업과 카메라 설정에 대해 잘 일반화된다.