[論文レビュー] Spatiotemporal Relationship Reasoning for Pedestrian Intent Prediction

Bingbin Liu, Ehsan Adeli+5 more|arXiv (Cornell University)|Feb 20, 2020

Autonomous Vehicle Technology and Safety参考文献 76被引用数 10

ひとこと要約

本論文は、自動運転における歩行者意図予測のためのグラフ畳み込みベースの時空間的推論フレームワークを提案する。歩行者とシーン要因との関係を時間経過とともにモデル化する。新しいSTIPデータセットでは79.10%の精度を達成し、JAADでは79.28%を記録。交差点への進入より1秒前まで意図を予測可能であり、歩行者中心的および場所中心的設定の両方で動的シーングラフを活用することで、先行手法を上回る性能を発揮する。

ABSTRACT

Reasoning over visual data is a desirable capability for robotics and vision-based applications. Such reasoning enables forecasting of the next events or actions in videos. In recent years, various models have been developed based on convolution operations for prediction or forecasting, but they lack the ability to reason over spatiotemporal data and infer the relationships of different objects in the scene. In this paper, we present a framework based on graph convolution to uncover the spatiotemporal relationships in the scene for reasoning about pedestrian intent. A scene graph is built on top of segmented object instances within and across video frames. Pedestrian intent, defined as the future action of crossing or not-crossing the street, is a very crucial piece of information for autonomous vehicles to navigate safely and more smoothly. We approach the problem of intent prediction from two different perspectives and anticipate the intention-to-cross within both pedestrian-centric and location-centric scenarios. In addition, we introduce a new dataset designed specifically for autonomous-driving scenarios in areas with dense pedestrian populations: the Stanford-TRI Intent Prediction (STIP) dataset. Our experiments on STIP and another benchmark dataset show that our graph modeling framework is able to predict the intention-to-cross of the pedestrians with an accuracy of 79.10% on STIP and 79.28% on ev{Joint Attention for Autonomous Driving (JAAD) dataset up to one second earlier than when the actual crossing happens. These results outperform the baseline and previous work. Please refer to http://stip.stanford.edu/ for the dataset and code.

研究の動機と目的

• 歩行者とシーン要因の間の動的相互作用をモデル化することで、自動運転車両における歩行者意図予測を向上させること。
• 従来の手法が歩行者固有の特徴に依存するのみで文脈的関係を無視するという限界を是正すること。
• 視覚的シーンにおける時空間的関係を統合的に推論可能なフレームワークを構築し、より正確で迅速な意図予測を実現すること。
• 密集した歩行者環境を想定した自動運転シナリオに特化した新しいベンチマークデータセットSTIPを提供すること。
• グラフベースのモデリングが、意図予測のための複雑で相互依存するシーンダイナミクスを捉える有効性を示すこと。

提案手法

• 各歩行者をノードとし、他の物体およびシーン全体の特徴を集約するコンテキストノードと接続する歩行者中心の動的シーングラフを構築する。
• 各動画フレーム内でのインスタンス間の空間的関係をモデル化するために、グラフ畳み込みネットワーク（GCNs）を用いる。
• 連続するフレーム間で対応するノード（歩行者およびコンテキスト）間に時間的接続を確立し、進化する相互作用を捉える。
• グラフ埋め込み特徴を時間的に処理し、将来の意図を予測するためにゲート付き再帰ユニット（GRUs）を特徴とする。
• 自動運転エージェントの安全性を高めるために、車両の前部に歩行者が現れる可能性を予測する場所中心のグラフバリアントを導入する。
• 事前学習された特徴の連結ベースラインからの特徴を用いて、軽量なファインチューニング戦略でモデルを訓練し、メモリと学習時間を約90%削減する。

実験結果

リサーチクエスチョン

• RQ1 歩行者固有の特徴に依存するモデルとは異なり、グラフベースの時空間的推論が歩行者意図予測を向上させられるか？
• RQ2 歩行者とシーン要因（車両、信号機、横断歩道など）の間の相互作用をモデル化することで、予測精度と予測リードタイムにどのような影響を与えるか？
• RQ3 1台の前面カメラ入力と比較して、マルチカメラ入力を組み込むことで、意図予測性能がどの程度向上するか？
• RQ4 軽量なグラフファインチューニング戦略は、計算コストを著しく削減しながらも高い性能を維持できるか？
• RQ5 本モデルは、実世界のドライブ環境における異なる予測時間窓やシーン密度に対して、どの程度一般化可能か？

主な発見

• 提案された時空間的グラフモデルは、STIPデータセットで79.10%の精度を達成し、実際の横断開始より1秒前まで意図を予測可能である。
• JAADベンチマークでは79.28%の精度を記録し、同様に1秒の予測リードタイムを達成。先行手法を上回る性能を発揮する。
• 左、前面、右の3カメラを併用することで、単一カメラ入力よりも性能が向上。4秒間の観測で2秒先を予測する際、81.73%の精度を達成。
• 長時間の予測時間窓に対しても高い性能を維持し、4秒間の観測後に3秒先を予測する際、STIPデータセットで80.32%の精度を達成。
• 場所中心のグラフバリアントは、1エポック事前学習ベースラインからの特徴をファインチューニングすることで、30フレーム（1秒）の平均で86.38%の精度を達成。GPUメモリの1/10のみを消費。
• 予測時間の経過に伴い性能の信頼性は単調に低下するが、マルチカメラ入力により予測が安定化し、特に長時間予測においてより豊かな文脈的手がかりが得られると示唆される。