[論文レビュー] SSAGCN: Social Soft Attention Graph Convolution Network for Pedestrian Trajectory Prediction

Pei Lv, Wentong Wang+4 more|arXiv (Cornell University)|Dec 5, 2021

Traffic and Road Safety被引用数 7

ひとこと要約

本稿では、社会的相互作用と環境との状況的相互作用を、社会的ソフトアテンションメカニズムと順次的状況アテンション共有を用いて統合的にモデル化する、新しいグラフ畳み込みネットワークSSAGCNを提案する。マルチファクターの社会的ダイナミクスと時間的に一貫性のある状況的影響を統合的なグラフ構造に組み込むことで、SSAGCNはベンチマークデータセットで最先端の性能を達成し、物理的かつ社会的に妥当な軌道予測を実現する。

ABSTRACT

Pedestrian trajectory prediction is an important technique of autonomous driving, which has become a research hot-spot in recent years. Previous methods mainly rely on the position relationship of pedestrians to model social interaction, which is obviously not enough to represent the complex cases in real situations. In addition, most of existing work usually introduce the scene interaction module as an independent branch and embed the social interaction features in the process of trajectory generation, rather than simultaneously carrying out the social interaction and scene interaction, which may undermine the rationality of trajectory prediction. In this paper, we propose one new prediction model named Social Soft Attention Graph Convolution Network (SSAGCN) which aims to simultaneously handle social interactions among pedestrians and scene interactions between pedestrians and environments. In detail, when modeling social interaction, we propose a new \emph{social soft attention function}, which fully considers various interaction factors among pedestrians. And it can distinguish the influence of pedestrians around the agent based on different factors under various situations. For the physical interaction, we propose one new \emph{sequential scene sharing mechanism}. The influence of the scene on one agent at each moment can be shared with other neighbors through social soft attention, therefore the influence of the scene is expanded both in spatial and temporal dimension. With the help of these improvements, we successfully obtain socially and physically acceptable predicted trajectories. The experiments on public available datasets prove the effectiveness of SSAGCN and have achieved state-of-the-art results.

研究の動機と目的

• 従来の手法が社会的相互作用と状況的相互作用を別々にかつ独立してモデル化するという限界を解決すること。
• 相対的スピード、方向、可視性といった包括的な社会的要因を相互作用モデルに組み込むことで、軌道予測の精度を向上させること。
• 順次的状況共有メカニズムを用いて、歩行者間で継続的かつ時系列に即した状況的影響の伝播を可能にすること。
• 社会的および状況的相互作用のモデル化を、より一貫性があり現実的な予測が得られる単一のグラフ畳み込みフレームワーク内で統合すること。
• 衝突を避けるなど社会的に許容可能であり、障害物や道路境界を尊重するなど物理的に妥当な軌道予測を生成すること。

提案手法

• 相対的位置、スピード、方向、可視性に基づいて、歩行者間の動的でマルチファクターな相互作用重みを計算する社会的ソフトアテンション関数を提案する。
• 社会的ソフトアテンションスコアを用いて重み付き隣接行列を構築し、歩行者間の影響度の違いを反映する。
• 各時刻で状況アテンションを計算し、時間経過とともに社会的グラフを介して伝播させる順次的状況アテンション共有メカニズムを導入する。
• 各時刻でノード埋め込みに状況アテンション特徴を統合することで、環境的影響の時間的連続性と空間的拡散を実現する。
• 動的重み付き社会的グラフ上で特徴を集約するため、グラフ畳み込みネットワーク（GCN）を用いて軌道予測を実行する。
• 社会的および状況的特徴がGCN処理の前段階でノード表現に統合される、統一されたエンコーダ・デコーダアーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 相対距離以外の複数の動的要因を組み込むことで、歩行者の社会的相互作用をより現実的にモデル化する方法は何か？
• RQ2 物理的環境の影響を、リアルタイムかつ連続的な状況的相互作用を反映する形で、歩行者間で効果的に伝播させることは可能か？
• RQ3 社会的および状況的相互作用を統合的なグラフフレームワーク内で同時にモデル化することで、別々にモデル化する手法と比較して、予測精度と妥当性が向上するか？
• RQ4 提案された順次的状況アテンション共有メカニズムは、軌道予測における状況的影響の空間的・時間的整合性をどのように向上させるか？
• RQ5 複数の障害物や密集した歩行者群が存在する複雑な都市環境において、モデルは物理的・社会的に妥当な軌道をどの程度正確に生成できるか？

主な発見

• SSAGCNは、SDDやUCYを含む複数の公開ベンチマークで最先端の性能を達成し、ADEおよびFDEの両指標で先行手法を上回った。
• 隣接行列の可視化から、特に頭合わせの危険な状況など、SSAGCNが社会的相互作用をより的確に識別・フィルタリングしていることが示された。
• モデルは衝突回避行動（例：直接向かってくる歩行者が避け合うために方向転換する）を的確に予測した。
• 障害物に向かって歩行する状況ですら、モデルは物理的に妥当な軌道（衝突を避けるように曲がる）を生成した。
• 順次的状況アテンション共有メカニズムにより、道路境界などの状況的要因が社会的グラフを介して伝播し、直接障害物に近い歩行者でない者に対しても影響を与えた。
• 定性的な結果から、予測された軌道が社会的に許容可能（例：安全距離を保つ）かつ物理的に整合的（例：道路内に留まり、障害物を避ける）であることが確認された。