[論文レビュー] Graph-SIM: A Graph-based Spatiotemporal Interaction Modelling for Pedestrian Action Prediction

Tiffany Yau, Saber Malekmohammadi+4 more|arXiv (Cornell University)|Dec 3, 2020

Autonomous Vehicle Technology and Safety参考文献 37被引用数 4

ひとこと要約

本論文では、鳥眼視点の3次元座標、方向、相対的重みを用いて動的相互作用をモデル化することで、歩行者の横断行動を予測するグラフベースの時空間的相互作用モデル、Graph-SIMを提案する。新たに3次元ボクセルボックスと行動アノテーションを備えたデータセットPePScenesを導入し、既存手法と比較して主要指標で15%以上の向上を達成し、最先端の性能を実現した。

ABSTRACT

One of the most crucial yet challenging tasks for autonomous vehicles in urban environments is predicting the future behaviour of nearby pedestrians, especially at points of crossing. Predicting behaviour depends on many social and environmental factors, particularly interactions between road users. Capturing such interactions requires a global view of the scene and dynamics of the road users in three-dimensional space. This information, however, is missing from the current pedestrian behaviour benchmark datasets. Motivated by these challenges, we propose 1) a novel graph-based model for predicting pedestrian crossing action. Our method models pedestrians' interactions with nearby road users through clustering and relative importance weighting of interactions using features obtained from the bird's-eye-view. 2) We introduce a new dataset that provides 3D bounding box and pedestrian behavioural annotations for the existing nuScenes dataset. On the new data, our approach achieves state-of-the-art performance by improving on various metrics by more than 15% in comparison to existing methods. The dataset is available at https://github.com/huawei-noah/datasets/PePScenes.

研究の動機と目的

• 既存の歩行者行動予測ベンチマークにおける3次元空間的特徴および相互作用に配慮した特徴の欠如に対処すること。
• 鳥眼視点の3次元座標と運動方向を用いて動的相互作用をモデル化することで、歩行者横断予測を向上させること。
• 距離、方向、交通方向に基づいて相対的重みを割り当てるグラフベースの相互作用モデリング手法を構築し、相互作用を重視する。
• nuScenesを拡張し、3次元ボクセルボックスと歩行者行動アノテーションを備えた新しいデータセットPePScenesを提供することで、より優れたベンチマークを実現すること。
• 自車両動的特性と歩行者運動特徴を統合することで、歩行者横断予測の最先端性能を達成すること。

提案手法

• モデルは、歩行者中心のスターフォームのグラフを構築し、鳥眼視点から得られる3次元グローバル座標と方向を用いて、道路利用者（歩行者および車両）をノードとして表現する。
• エッジ重みは、道路利用者間の距離と方向整合性を組み合わせた相対的重み関数を用いて計算され、距離のみの手法よりも交通状況をより正確に捉える。
• グラフはグラフニューラルネットワーク（GNN）を用いて処理され、相互作用特徴が集約され、それらはターゲット歩行者および自車両の時系列的ダイナミクスと再帰的アーキテクチャを用いて融合される。
• 近接性と方向に基づいて歩行者をグループ化するクラスタリングが施され、社会的力や集団行動をモデル化することで、相互作用表現の向上が図られる。
• 最終的な予測ヘッドは、ダイナミクス特徴（位置、速度）とグラフ符号化された相互作用のマルチレベル統合を用いて、横断確率を分類する。
• モデルは、歩行者用の密集した3次元ボクセルボックスと行動アノテーションを備えた新規データセットPePScenes上で訓練および評価される。

実験結果

リサーチクエスチョン

• RQ1 3次元空間的および方向的情報を用いて、歩行者と周囲の道路利用者との時空間的相互作用をどのように効果的にモデル化できるか？
• RQ2 自車両のダイナミクスを組み込むことで、歩行者横断予測性能はどの程度向上するか？
• RQ3 近接性に加え方向性を考慮したクラスタリングは、単なる近接性ベースのグループ化よりも、社会的グループ行動をどれほどよく捉えることができるか？
• RQ4 距離と運動方向に基づく相対的重み付けは、均一または距離のみに基づく重み付けと比較して、相互作用モデリングをどの程度改善するか？
• RQ5 3次元鳥眼視点特徴を用いたグラフベースモデルは、既存の最先端手法を上回る性能を達成できるか？

主な発見

• 歩行者および自車両のダイナミクスを統合した完全なGraph-SIMモデルは、PePScenesデータセットで94.4%の正確度、85.8%のAUC、81.4%のF1スコア、92.1%の適合率を達成した。
• ベースラインのSocial-STGCNNと比較して、F1スコアと適合率がそれぞれ29%および20%向上し、顕著な性能向上が確認された。
• 自車両のダイナミクスを組み込むことで、歩行者ダイナミクスのみを組み込むよりも性能が向上し、歩行者行動に与える影響の大きさが示された。
• 方向性を考慮した相対的重み付けにより、距離のみの重み付けよりもF1スコアが7.6ポイント向上し、Social-STGCNNを上回った。
• 近接性に加え方向性を考慮したクラスタリングは、近接性のみに基づくクラスタリングと比較して適合率が5%向上し、より優れたグループ行動モデリングが可能であることが示された。
• アブレーションスタディにより、歩行者の位置と速度特徴を併用することで、個別に使用する場合よりも顕著に高い性能が得られることを確認した。