[論文レビュー] Forecasting Social Navigation in Crowded Complex Scenes

Alexandre Robicquet, Alexandre Alahi+5 more|arXiv (Cornell University)|Jan 5, 2016

Evacuation and Crowd Dynamics参考文献 39被引用数 29

ひとこと要約

本論文は、大学キャンパスのような混雑した屋外環境で複数クラスのエージェント（歩行者、自転車、スケートボード、車両）が移動する、大規模かつトップビューのデータセットを初めて紹介し、相互クラス間の相互作用を組み込み、社会的要因に対してどれほど反応的であるかを捉える潜在変数「社会的感受性（social sensitivity）」を学習する新しい軌道予測モデルを提案する。本手法は、複雑な現実世界のシーンにおける多様な移動スタイルと相互作用ダイナミクスをモデル化することで、ベースラインを上回る性能を発揮する。

ABSTRACT

When humans navigate a crowed space such as a university campus or the sidewalks of a busy street, they follow common sense rules based on social etiquette. In this paper, we argue that in order to enable the design of new algorithms that can take fully advantage of these rules to better solve tasks such as target tracking or trajectory forecasting, we need to have access to better data in the first place. To that end, we contribute the very first large scale dataset (to the best of our knowledge) that collects images and videos of various types of targets (not just pedestrians, but also bikers, skateboarders, cars, buses, golf carts) that navigate in a real-world outdoor environment such as a university campus. We present an extensive evaluation where different methods for trajectory forecasting are evaluated and compared. Moreover, we present a new algorithm for trajectory prediction that exploits the complexity of our new dataset and allows to: i) incorporate inter-class interactions into trajectory prediction models (e.g, pedestrian vs bike) as opposed to just intra-class interactions (e.g., pedestrian vs pedestrian); ii) model the degree to which the social forces are regulating an interaction. We call the latter "social sensitivity"and it captures the sensitivity to which a target is responding to a certain interaction. An extensive experimental evaluation demonstrates the effectiveness of our novel approach.

研究の動機と目的

• 複数のエージェントタイプ（歩行者、自転車、車両など）が複雑で混雑した屋外環境に存在するが、現実世界の大規模なデータセットが不足しているという問題に対処すること。
• 同じクラス内での相互作用だけでなく、異なるクラス間の相互作用（例：歩行者 vs. 自転車）をモデル化することで、より強固で一般化可能な軌道予測を可能にすること。
• エージェントが社会的要因に対してどれほど反応的であるかを捉えるデータ駆動型の「社会的感受性」という潜在変数を学習することで、軌道予測の精度を向上させること。
• 現実的で動的なシーンにおけるマルチターゲットトラッキング、アクティビティ理解、および軌道予測の評価に適したスケーラブルなベンチマークを提供すること。

提案手法

• 100の実際のキャンパスシーンをドローンから上空から撮影した新しい大規模なトップビュー動画データセットを収集し、複数のクラスにまたがる20,000件のアノテーション付きターゲットを含む。
• 異なるエージェントタイプ間（例：歩行者-自転車、車両-スケートボード）の相互作用をモデル化するマルチクラス社会的力（SF-mc）フレームワークを提案する。
• エージェントが他のエージェントからの社会的力に対してどれほど強く反応するかを定量化する、学習可能な潜在変数としての「社会的感受性」を導入する。
• クラスタリングに基づくアプローチを用いて、社会的感受性と相互作用パターンに基づいてエージェントを異なる移動スタイル（例：攻撃的、慎重）にグループ化する。
• 軌道予測と社会的感受性推定を同時に最適化する微分可能損失関数を採用する。
• 提案手法の汎用性を検証するため、提案したマルチクラスデータセットと標準的な歩行者専用ベンチマークの両方でモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 実際の混雑したシーンにおいて、複数のエージェントクラス（例：歩行者、自転車、車両）をカバーする軌道予測モデルは、効果的に一般化できるか？
• RQ2 歩行者-自転車のような相互クラス間の相互作用をモデル化することで、単一クラス内での相互作用のみを考慮するモデルと比較して、予測精度がどのように向上するか？
• RQ3 学習可能な「社会的感受性」変数は、攻撃的と慎重な行動の多様な移動行動を捉え、予測性能を向上させることができるか？
• RQ4 提案手法は、大規模な現実世界データセットにおいて、既存の社会的力モデルやガウス過程ベースのモデルを上回る性能を発揮するか？

主な発見

• 学習可能な社会的感受性を備えた提案されたSF-mcモデルは、エージェントクラスが均一であると仮定するベースラインを上回り、新規マルチクラスデータセットで最先端の性能を達成した。
• モデルは、学習された社会的感受性に基づいて、攻撃的または慎重な行動といった異なる移動スタイルを的確に同定・適応し、複雑な相互作用において予測精度を向上させた。
• 相互作用のないシーンでは、すべての手法が同様に性能を発揮するため、本手法の優位性は、実際に混雑し、相互作用が生じる環境において顕著に現れることが確認された。
• 単一クラスのベンチマーク（例：歩行者専用）に対しても、モデルは適切な移動スタイル（攻撃的または穏やか）を各エージェントに正しく選択でき、軌道比較による妥当性が裏付けられた。
• 可視化結果から、相互作用が発生する際、異なる社会的感受性クラスタに分類された予測軌道が有意に分離していることが示され、本モデルが微細な行動ダイナミクスを捉える能力を有していることが裏付けられた。
• 本データセットは、UAVデータからの機能マップ推定、微小ターゲットトラッキング、シーン固有の運動モデリングといった、新たな研究分野を可能にする。