[論文レビュー] Spatial-Temporal Block and LSTM Network for Pedestrian Trajectories Prediction

Dan Xiong|arXiv (Cornell University)|Sep 22, 2020

Autonomous Vehicle Technology and Safety参考文献 19被引用数 5

ひとこと要約

本論文では、混雑で動的なシーンにおける歩行者軌跡予測のため、新しい空間時間ブロック（ST-Block）とLSTMネットワークの組み合わせを提案する。歩行者をグラフノードとしてモデル化し、グラフ畳み込みネットワーク（GCN）と時間畳み込みネットワーク（TCN）を活用して空間的および時間的依存関係を捉えることで、社会的相互作用とシーンの文脈を効果的に符号化し、ETHおよびUCYデータセットで最先端の性能を達成した。

ABSTRACT

Pedestrian trajectory prediction is a critical to avoid autonomous driving collision. But this prediction is a challenging problem due to social forces and cluttered scenes. Such human-human and human-space interactions lead to many socially plausible trajectories. In this paper, we propose a novel LSTM-based algorithm. We tackle the problem by considering the static scene and pedestrian which combine the Graph Convolutional Networks and Temporal Convolutional Networks to extract features from pedestrians. Each pedestrian in the scene is regarded as a node, and we can obtain the relationship between each node and its neighborhoods by graph embedding. It is LSTM that encode the relationship so that our model predicts nodes trajectories in crowd scenarios simultaneously. To effectively predict multiple possible future trajectories, we further introduce Spatio-Temporal Convolutional Block to make the network flexible. Experimental results on two public datasets, i.e. ETH and UCY, demonstrate the effectiveness of our proposed ST-Block and we achieve state-of-the-art approaches in human trajectory prediction.

研究の動機と目的

• 複雑な人間同士および人間と環境の相互作用を伴う混雑な環境における社会的に妥当な歩行者軌跡を予測する課題に対処すること。
• 空間的シーン構造と時間的運動ダイナミクスを同時にモデリングすることで、軌跡予測の精度を向上させること。
• 新しい空間時間ブロック設計によるモデルの柔軟性を高め、複数の妥当な将来の軌跡を予測できること。
• LSTMによる逐次モデリングと歩行者関係のグラフベース表現を統合し、より良い社会的相互作用の符号化を実現すること。
• 歩行者軌跡予測のベンチマークデータセット（例：ETHおよびUCY）で最先端の性能を達成すること。

提案手法

• 各歩行者をグラフ上のノードとして表現し、エッジが空間的近接性と社会的関係を符号化することで、グラフ畳み込みネットワーク（GCN）によるグラフベースの特徴学習を可能にする。
• 時間的パターンを時間ステップにわたってモデル化するため、空間的特徴を時間畳み込みネットワーク（TCN）を用いて抽出する。
• 空間的依存関係と時間的ダイナミクスを柔軟かつ階層的に捉えるために、新しい空間時間畳み込みブロック（ST-Block）を導入する。
• LSTMネットワークを用いて歩行者とその周囲の歩行者との間の変化する関係を符号化し、軌跡シーケンスにおける長期依存関係をモデル化する。
• ST-BlockはGCNとTCNのコンponentを統合し、空間的文脈と時間的運動を同時に学習することで、軌跡予測のための表現学習を強化する。
• モデルはエンドツーエンドで訓練され、複数の可能な将来の軌跡を予測する。不確実性はマルチモーダル出力ヘッドによってモデル化される。

実験結果

リサーチクエスチョン

• RQ1 混雑なシーンにおける複雑な歩行者相互作用を効果的にモデリングするため、空間的および時間的特徴をどのように組み合わせるべきか？
• RQ2 GCNとTCNを用いたグラフベース表現は、標準的なRNNやCNNベースラインと比較して、軌跡予測の精度を向上させられるか？
• RQ3 提案されたST-Blockは、複数の妥当な将来の軌跡を予測する上で、モデルの柔軟性と性能をどの程度向上させるか？
• RQ4 シーンの文脈と社会的相互作用モデリングの統合は、公開ベンチマークデータセットでの一般化性能を向上させるか？
• RQ5 提案されたモデルは、ETHおよびUCYのような標準的な歩行者軌跡予測ベンチマークで最先端の性能を達成できるか？

主な発見

• 提案されたST-BlockとLSTMベースのモデルは、歩行者軌跡予測においてETHおよびUCYベンチマークデータセットで最先端の性能を達成した。
• 複数の妥当な将来の軌跡を予測する能力において優れた性能を示し、複雑な社会的相互作用とシーン制約を捉えることができた。
• GCNによる空間モデリングとTCNによる時間的特徴抽出の統合により、ベースラインモデルと比較して予測精度が顕著に向上した。
• 歩行者関係のグラフ埋め込みの使用により、混雑な環境における社会的力や近接効果の効果的なモデリングが可能になった。
• アブレーションスタディの結果、ST-BlockおよびLSTMコンponentの両方がモデルの予測性能に有意に寄与していることが確認された。
• 特に歩行者密度が高く、運動パターンが複雑な状況において、既存の手法を上回る予測精度を示した。