[論文レビュー] SRA-LSTM: Social Relationship Attention LSTM for Human Trajectory Prediction

Yusheng Peng, Gaofeng Zhang+3 more|arXiv (Cornell University)|Mar 31, 2021

Video Surveillance and Tracking Methods参考文献 32被引用数 6

ひとこと要約

本稿では、歩行者の間の社会的関係をLSTMアーキテクチャに統合することで、歩行者の運動的相互作用と社会的関係を同時にモデル化する新しい軌跡予測モデルSRA-LSTMを提案する。相対的位置を用いて社会的つながりを表現し、注目メカニズムを用いて周囲の影響を重みづけすることで、ETHおよびUCYデータセットにおいて最先端の性能を達成し、個々の行動とグループ行動の両方のシナリオで既存手法を上回った。

ABSTRACT

Pedestrian trajectory prediction for surveillance video is one of the important research topics in the field of computer vision and a key technology of intelligent surveillance systems. Social relationship among pedestrians is a key factor influencing pedestrian walking patterns but was mostly ignored in the literature. Pedestrians with different social relationships play different roles in the motion decision of target pedestrian. Motivated by this idea, we propose a Social Relationship Attention LSTM (SRA-LSTM) model to predict future trajectories. We design a social relationship encoder to obtain the representation of their social relationship through the relative position between each pair of pedestrians. Afterwards, the social relationship feature and latent movements are adopted to acquire the social relationship attention of this pair of pedestrians. Social interaction modeling is achieved by utilizing social relationship attention to aggregate movement information from neighbor pedestrians. Experimental results on two public walking pedestrian video datasets (ETH and UCY), our model achieves superior performance compared with state-of-the-art methods. Contrast experiments with other attention methods also demonstrate the effectiveness of social relationship attention.

研究の動機と目的

• 既存の軌跡予測モデルが歩行者間の社会的関係を無視するという限界を解決すること。
• 友人関係や他人同士の関係といった社会的関係が、歩行者の運動意思決定にどのように影響するかをモデル化すること。
• 注目メカニズムを用いて社会的関係表現と潜在的な運動パターンを統合することで、社会的相互作用のモデル化を向上させること。
• 運動的相互作用と社会的文脈を同時に捉えることで、軌跡予測の正確性を向上させること。
• 公開ベンチマーク（ETHおよびUCY）において、最先端の手法と比較して優れた性能を示すこと。

提案手法

• 歩行者ペアの相対的位置から特徴を抽出する社会的関係エンコーダーを設計し、その社会的関係を表現する。
• 各歩行者の観測された軌跡から、潜在的な運動パターンを別個のLSTMで符号化する。
• 運動LSTMと社会的関係エンコーダーの隠れ状態を用いて、社会的関係注目を計算し、周囲の影響を動的に重みづけ可能にする。
• 注目メカニズムは、周囲の歩行者の運動パターンと社会的関係特徴の両方を基に、移動情報の集約を行う。
• 最終的な予測は、運動LSTMの出力と、社会的関係注目モジュールを通じて重みづけられた隣接者情報の組み合わせによって生成される。
• 予測された未来の軌跡と真値との間の平均二乗誤差損失を用いて、エンド・ツー・エンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 運動的相互作用のみを考慮するモデルと比較して、社会的関係情報を組み込むことで、軌跡予測性能がどのように向上するか。
• RQ2 社会的関係注目が、友人と他人の両方が歩行者の運動意思決定に与える影響を効果的に区別できるか。
• RQ3 提案されたSRA-LSTMモデルは、個別回避やグループ回避を含む多様な群衆相互作用シナリオに一般化して適応できるか。
• RQ4 標準ベンチマークデータセット上で、定量的に最先端の手法と比較してどのように性能を示すか。
• RQ5 モデルの失敗事例は何か。歩行者の動機づけとシーンレイアウトのモデル化に残された限界は何か。

主な発見

• SRA-LSTMは、ETHおよびUCYの歩行者軌跡予測ベンチマークで、平均移動誤差（ADE）および最終移動誤差（FDE）の両面で、既存手法を上回る最先端の性能を達成した。
• 群衆回避のシナリオでは、歩行者が衝突を避けるために協調的に動き回る状況でも、ベースライン手法よりも真値に近い予測を示した。
• 定性的な結果から、友人と協調して方向転換や経路調整を行う行動を、社会的関係注目のおかげで正しく捉えていることが明らかになった。
• アブレーションスタディの結果、空間的または運動特徴のみに依存する標準的な注目メカニズムと比較して、社会的関係注目が予測精度を顕著に向上させた。
• 壁などの環境的制約によって歩行者が停止する場合、観測された軌跡だけからその動機づけを特定できないため、モデルは失敗する。
• 失敗事例は、今後の研究においてシーンレイアウトと運動動機の理解を統合することで、さらにモデルの頑健性を高める必要があることを示唆している。