[논문 리뷰] The Pedestrian Patterns Dataset

Kasra Mokhtari, Alan R. Wagner|arXiv (Cornell University)|2020. 01. 06.

Video Surveillance and Tracking Methods참고 문헌 19인용 수 6

한 줄 요약

이 논문은 한 주 동안 다양한 시간대에 걸쳐 세 개의 도시 노선을 반복적으로 순행하면서 촬영한 Full HD 영상 및 GPS 데이터를 포함하는 대규모 보행자 패턴 데이터셋을 소개한다. Fast R-CNN을 사용한 보행자 검출을 통해 보행자 밀도를 정량화하고, 자율주행 차량의 위험 예측 및 동적인 환경에서의 장기적인 시각 기반 정렬 연구를 지원한다.

ABSTRACT

We present the pedestrian patterns dataset for autonomous driving. The dataset was collected by repeatedly traversing the same three routes for one week starting at different specific timeslots. The purpose of the dataset is to capture the patterns of social and pedestrian behavior along the traversed routes at different times and to eventually use this information to make predictions about the risk associated with autonomously traveling along different routes. This dataset contains the Full HD videos and GPS data for each traversal. Fast R-CNN pedestrian detection method is applied to the captured videos to count the number of pedestrians at each video frame in order to assess the density of pedestrians along a route. By providing this large-scale dataset to researchers, we hope to accelerate autonomous driving research not only to estimate the risk, both to the public and to the autonomous vehicle but also accelerate research on long-term vision-based localization of mobile robots and autonomous vehicles of the future.

연구 동기 및 목표

• 다양한 조건에서 도시 환경에서의 보행자 행동의 시간적 및 공간적 패턴을 캡처하기 위해.
• 자율주행 차량의 인식 및 위험 예측 시스템을 훈련하고 평가하기 위한 종합적인 데이터셋을 제공하기 위해.
• 이동 로봇 및 자율주행 차량을 위한 장기적인 시각 기반 정렬 연구를 지원하기 위해.
• 하루 중 다른 시간대와 주의 다른 요일에 걸쳐 보행자 밀도 변동을 분석하기 위해.
• 실제 도시 환경에서의 인간-차량 상호작용 패턴 데이터를 제공함으로써 자율 주행 탐색 연구를 가속화하기 위해.

제안 방법

• 데이터 수집은 일주일 간 연속적으로 세 개의 고정된 도시 노선을 반복적으로 순행하여 수행되었다.
• 각 순행 동안 Full HD 영상과 동기화된 GPS 데이터를 기록하여 정확한 노선 및 위치 추적을 수행하였다.
• 모든 영상 프레임에 Fast R-CNN 객체 검출 모델을 적용하여 보행자 수를 세고 밀도를 추정하였다.
• 보행자 수는 시간대별로 집계되고 노선별로 분석되어 시간적 및 공간적 패턴을 분석할 수 있도록 하였다.
• 재현 가능성과 확장성을 지원하기 위해 데이터셋을 정제하고 공개하였다.
• 위험 모델링을 위해 시간대, 노선 및 보행자 수 간의 상관관계를 분석할 수 있도록 데이터를 구조화하였다.

실험 결과

연구 질문

• RQ1 도시 노선에서 보행자 밀도는 하루 중 어떤 시간대에 따라 어떻게 변동하는가?
• RQ2 여러 일에 걸쳐 특정 장소에서 반복되는 보행자 행동 패턴은 무엇인가?
• RQ3 실제 도시의 보행자 밀도 데이터는 자율주행 차량 주행의 위험 평가를 어떻게 향상시킬 수 있는가?
• RQ4 시각 기반 시스템은 장기적인 보행자 패턴 데이터를 얼마나 잘 활용하여 정렬 및 예측을 수행할 수 있는가?
• RQ5 보행자 유동의 시간적 일관성은 강력한 자율주행 모델 훈련에 어떤 역할을 하는가?

주요 결과

• 데이터셋은 하루 중 다른 시간대에 따라 보행자 밀도에 상당한 변동을 캡처하였으며, 오전 중순과 저녁 무렵에 피크 유동이 관찰되었다.
• 여러 일에 걸쳐 일관된 보행자 이동 패턴이 관찰되어 특정 장소에서 예측 가능한 행동이 있음을 시사하였다.
• Fast R-CNN의 사용으로 1,000개 이상의 영상 세그먼트에서 고시간 해상도로 정확하고 확장 가능한 보행자 수 세기 기능을 달성하였다.
• 데이터셋은 보행자 노출과 관련된 위험 요소의 모델링을 가능하게 하여 더 안전한 자율주행 차량 경로 설정을 지원한다.
• GPS 및 영상 데이터의 통합은 환경적 맥락과 함께 보행자 활동의 정밀한 시공간 상관관계 분석을 가능하게 한다.
• 데이터셋은 장기간의 정렬을 지원하기 위해 시간이 지남에 따라 일관되고 반복 가능한 도시 환경 관측을 제공한다.