[論文レビュー] Scene Gated Social Graph: Pedestrian Trajectory Prediction Based on Dynamic Social Graphs and Scene Constraints

Hao Xue, Du Q. Huynh+1 more|arXiv (Cornell University)|Oct 12, 2020

Autonomous Vehicle Technology and Safety参考文献 40被引用数 8

ひとこと要約

本稿では、動的スターグラフとシーンに適応した変分オートエンコーダ（VAE）を用いて、社会的相互作用、シーン制約、マルチモーダルな軌道生成を統合的にモデル化する、新しい歩行者軌道予測モデルであるScene Gated Social Graph（SGSG）を提案する。符号化された社会的グラフ特徴量と意味的シーン特徴量を「シーンゲート付き」表現に統合することで、多様で社会的にも環境的にも妥当な軌道予測を可能にする、分離された潜在変数を学習する。2つのベンチマークデータセットにおいて、最先端の性能を達成するとともに、計算効率とメモリ使用量の両面で改善を実現した。

ABSTRACT

Pedestrian trajectory prediction is valuable for understanding human motion behaviors and it is challenging because of the social influence from other pedestrians, the scene constraints and the multimodal possibilities of predicted trajectories. Most existing methods only focus on two of the above three key elements. In order to jointly consider all these elements, we propose a novel trajectory prediction method named Scene Gated Social Graph (SGSG). In the proposed SGSG, dynamic graphs are used to describe the social relationship among pedestrians. The social and scene influences are taken into account through the scene gated social graph features which combine the encoded social graph features and semantic scene features. In addition, a VAE module is incorporated to learn the scene gated social feature and sample latent variables for generating multiple trajectories that are socially and environmentally acceptable. We compare our SGSG against twenty state-of-the-art pedestrian trajectory prediction methods and the results show that the proposed method achieves superior performance on two widely used trajectory prediction benchmarks.

研究の動機と目的

• 歩行者軌道予測の課題に、社会的影響、シーン制約、マルチモーダルな軌道結果という3つの主要要因を統合的にモデル化することで対処すること。
• 統一された表現において、シーンに適応した特徴量と動的かつ変化する社会的関係を統合することで、予測の正確性と現実性を向上させること。
• シーンゲート付き社会的特徴量から学習される分離された潜在空間を通じて、多様で社会的にも環境的にも妥当な軌道予測を可能にすること。
• 完全グラフを用いる既存手法と比較して、スターグラフ構造を採用することで、計算オーバーヘッドを低減すること。

提案手法

• 対象となる人物とシーン内に存在する他の全歩行者との間の社会的関係を効率的に捉えるために、動的スターグラフを構築する。
• 意味的セグメンテーションに基づくシーンエンコーダーが、歩行可能領域や障害物といった高レベルのシーン特徴量を抽出し、空間的制約を明示する。
• 符号化された社会的グラフ特徴量と意味的シーン特徴量を連結またはゲーティングすることで、社会的および環境的要因の統合表現である「シーンゲート付き社会的グラフ特徴量」を形成する。
• 変分オートエンコーダ（VAE）を、シーンゲート付き特徴量上で学習させ、潜在変数の平均と分散を推定することで、複数の妥当な将来の軌道をサンプリング可能にする。
• VAEの潜在空間は、再構成損失とKLダイバージェンスの最適化により最適化され、社会的およびシーン制約を尊重した多様で現実的な軌道生成を保証する。
• 2つの変種、SGSG-v3とSGSG-v4を導入：SGSG-v3は完全な意味的セグメンテーションを用い、SGSG-v4は軽量なシーンエンコーダーを採用することで、わずかな精度の低下を犠牲に、GPUメモリ使用量を大幅に削減する。

実験結果

リサーチクエスチョン

• RQ1 統一されたモデルが、社会的影響、シーン制約、マルチモーダルな軌道生成を効果的に統合し、歩行者予測の性能を向上させることができるか？
• RQ2 完全グラフと比較して、スターグラフ構造は社会的関係モデル化において、性能とメモリ効率の両面でどのように優れているか？
• RQ3 シーンゲート付き特徴量の統合が、予測軌道の現実性と正確性をどの程度向上させるか？
• RQ4 シーンゲート付き特徴量上で学習されたVAEは、後処理による微調整なしに、多様で社会的に許容可能かつ環境に適合する軌道を生成できるか？

主な発見

• SGSGは、ETHおよびUCYのベンチマークデータセットにおいて、平均移動誤差（ADE）および最終移動誤差（FDE）の両面で、20の既存手法を上回る最先端の性能を達成した。
• 完全グラフではなくスターグラフ構造を採用したことで、トレーニング段階におけるGPUメモリ使用量がSTGATと比較して4.7倍も削減された。
• SGSG-v4は、完全なSGSGモデルと同等の性能を達成しながらも、GPUメモリ使用量を著しく削減しており、リソース制限のある環境への導入に適している。
• 定性的な結果から、SGSGはグループでの歩行、停止、方向転換、障害物回避といった複雑な行動に対しても現実的な軌道を生成しており、ヒートマップでは妥当な将来のパスが高頻度でカバーされていることが示された。
• 失敗事例は、社会的またはシーン的ヒントが存在しない突然の予期せぬ行動（例：180°の旋回）において主に発生しており、文脈依存モデルの限界を示している。