[論文レビュー] Stochastic trajectory prediction with social graph network

Lidan Zhang, Qi She+1 more|arXiv (Cornell University)|Jul 24, 2019

Data Management and Algorithms被引用数 36

ひとこと要約

この論文は、歩行者間の非対称的な社会的相互作用をモデル化する有向ソーシャルグラフネットワークと、階層的LSTMを用いて階層的デコーダで速度と位置の予測を段階的に生成することで、多様で社会的に妥当な将来軌道を生成する時間的確率フレームワークを提案します。

ABSTRACT

Pedestrian trajectory prediction is a challenging task because of the complexity of real-world human social behaviors and uncertainty of the future motion. For the first issue, existing methods adopt fully connected topology for modeling the social behaviors, while ignoring non-symmetric pairwise relationships. To effectively capture social behaviors of relevant pedestrians, we utilize a directed social graph which is dynamically constructed on timely location and speed direction. Based on the social graph, we further propose a network to collect social effects and accumulate with individual representation, in order to generate destination-oriented and social-aware representations. For the second issue, instead of modeling the uncertainty of the entire future as a whole, we utilize a temporal stochastic method for sequentially learning a prior model of uncertainty during social interactions. The prediction on the next step is then generated by sampling on the prior model and progressively decoding with a hierarchical LSTMs. Experimental results on two public datasets show the effectiveness of our method, especially when predicting trajectories in very crowded scenes.

研究の動機と目的

• 有向ソーシャルグラフを用いて歩行者の非対称的な社会的相互作用を捉える。
• 個々の目的地目標と社会的影響を統合して目的地指向の予測を生成する。
• 段階的な潜在変数を用いて時間的不確実性をモデル化し、多様な将来軌跡を生成する。

提案手法

• 可視隣人と運動方向を反映する時変動的な有向ソーシャルグラフを構築する。
• ノードと対ペア関係をニューラルブロックでエンコードして社会認識の埋め込みを得る。
• 各時間ステップで、学習された事前分布から潜在変数をサンプリングして不確実性をモデル化する。
• 階層型LSTMデコーダを用いて速度と位置の予測を段階的に生成する。
• 再構成項とKL正則化（beta-warmup）を含む変分下界でエンドツーエンドに訓練する。
• 有向グラフ、ソーシャルゲート、極座標、ソーシャルブロック数を含むアブレーションを比較する。

実験結果

リサーチクエスチョン

• RQ1 群衆の軌道予測精度を高めるために、非対称的な社会的相互作用をいかに効果的にモデル化できるか？
• RQ2 段階的な時間的潜在変数は予測軌跡の多様性と社会的妥当性を向上させるか？
• RQ3 グラフ構築の選択（方向性、アテンション、ソーシャルゲート、座標表現）が予測精度に与える影響は？
• RQ4 階層デコーダーは社会認識と目的地指向の手掛かりを組み合わせて現実的な未来を生成できるか？

主な発見

Method	ETH ADE	ETH FDE	Hotel ADE	Hotel FDE	Zara01 ADE	Zara01 FDE	Zara02 ADE	Zara02 FDE	Univ ADE	Univ FDE	AVG ADE	AVG FDE
Linear	1.33/2.94	0.39/0.72	0.62/1.21	0.77/1.48	0.82/1.59	0.79/1.59
LSTM	1.14/2.39	0.69/1.47	0.64/1.43	0.54/1.21	0.73/1.60	0.75/1.62
S-LSTM	0.77/1.60	0.38/0.80	0.51/1.19	0.39/0.89	0.58/1.28	0.53/1.15
SR-LSTM	0.63/1.25	0.37/0.74	0.42/0.90	0.32/0.70	0.51/1.10	0.45/0.94
CVAE	0.93/1.94	0.52/1.03	0.41/0.86	0.33/0.72	0.59/1.27	0.53/1.11
SoPhie	0.90/1.60	0.87/1.82	0.38/0.73	0.38/0.79	0.49/1.19	0.61/1.22
SGAN	1.19/1.62	1.02/1.37	0.43/0.68	0.58/0.84	0.84/1.52	0.81/1.21
Ours	0.75/1.63	0.63/1.01	0.30/0.65	0.26/0.57	0.48/1.08	0.48/0.99

• 有向ソーシャルグラフは無向グラフより誤差を減らすことが多く、選択的隣接者注意の重要性を示している。
• ソーシャルゲート（特徴レベルの選択）を組み込むと性能がさらに向上する。
• 対となる関係に極座標を用いると、デカート座標に比べてわずかな利得がある。
• ソーシャルブロック数(K)を増やすと、一般的に単一ブロックより性能が向上する。
• 提案手法はETHとUCYデータセットで競争力のADE/FDEを達成し、混雑した場面で顕著な改善を示す。
• 定性的な結果は、多様で社会的に適合した予測経路と近くの歩行者への妥当な注意パターンを示す。