[論文レビュー] The Pedestrian Patterns Dataset

Kasra Mokhtari, Alan R. Wagner|arXiv (Cornell University)|Jan 6, 2020

Video Surveillance and Tracking Methods参考文献 19被引用数 6

ひとこと要約

本論文では、1週間の間、異なる時間帯に3つの都市ルートを繰り返し走行することで収集された大規模な歩行者行動パターンデータセットを紹介する。フルHD動画とGPSデータを収集し、Fast R-CNNを用いた歩行者検出により、歩行者密度の定量的評価が可能となり、自律走行車両のリスク予測および動的環境下での長期的ビジョンベースの局所化に貢献する。

ABSTRACT

We present the pedestrian patterns dataset for autonomous driving. The dataset was collected by repeatedly traversing the same three routes for one week starting at different specific timeslots. The purpose of the dataset is to capture the patterns of social and pedestrian behavior along the traversed routes at different times and to eventually use this information to make predictions about the risk associated with autonomously traveling along different routes. This dataset contains the Full HD videos and GPS data for each traversal. Fast R-CNN pedestrian detection method is applied to the captured videos to count the number of pedestrians at each video frame in order to assess the density of pedestrians along a route. By providing this large-scale dataset to researchers, we hope to accelerate autonomous driving research not only to estimate the risk, both to the public and to the autonomous vehicle but also accelerate research on long-term vision-based localization of mobile robots and autonomous vehicles of the future.

研究の動機と目的

• 都市環境における歩行者の行動の時間的・空間的パターンを、さまざまな条件下で捉えること。
• 自律走行車両の認識およびリスク予測システムの訓練・評価に向けた包括的なデータセットを提供すること。
• 移動ロボットや自動運転車両の長期的ビジョンベースの局所化研究を支援すること。
• 1日中の時間帯や週の曜日に応じた歩行者密度の変動を分析できること。
• 人間と車両の相互作用の実世界データを提供することで、自律走行ナビゲーション分野の研究を加速すること。

提案手法

• データ収集は、7日間連続で3つの固定された都市ルートを繰り返し走行することで実施された。
• 各走行において、フルHD動画と同期されたGPSデータが記録され、正確なルートおよび位置追跡が可能となった。
• すべての動画フレームにFast R-CNNオブジェクト検出モデルを適用し、歩行者の数をカウントし、密度を推定した。
• 歩行者数は時間帯ごとおよびルートごとに集計され、時間的・空間的パターンの分析が行われた。
• 再現可能性およびスケーラビリティを高めるために、データセットは整理され公開された。
• 時間帯、ルート、歩行者数との相関をとれるようにデータ構造化が行われ、リスクモデリングに活用可能となった。

実験結果

リサーチクエスチョン

• RQ1 都市ルートに沿って、1日中の時間帯によって歩行者密度はどのように変化するか？
• RQ2 複数日を通じて、特定の場所での歩行者行動に繰り返し現れるパターンは何か？
• RQ3 実世界の歩行者密度データを活用することで、自律走行車両のナビゲーションにおけるリスク評価はどのように改善できるか？
• RQ4 ビジョンベースのシステムは、長期間にわたる歩行者行動パターンデータをどの程度活用して局所化や予測を実現できるか？
• RQ5 歩行者流れの時間的整合性は、頑健な自律走行モデルの学習にどのような役割を果たすか？

主な発見

• データセットは、1日中の時間帯に応じた歩行者密度の顕著な変動を捉えており、特に午前中中頃と夕方の時間帯にピークが観察された。
• 複数日を通じて一貫した歩行者移動パターンが観察され、特定の場所での行動が予測可能であることが示された。
• Fast R-CNNの使用により、1,000以上の動画セグメントにおいて高時間分解能で正確かつスケーラブルな歩行者カウントが可能となった。
• データセットは、歩行者への露出に関連するリスク要因のモデリングを可能にし、自律走行車両の安全なルート選定を支援する。
• GPSと動画データの併記により、環境的文脈と歩行者活動の正確な空間時間的相関が可能となった。
• データセットは、時間経過にわたる都市風景の一貫性ある繰り返し観察を提供するため、長期的局所化を支援する。