[論文レビュー] SR-LSTM: State Refinement for LSTM towards Pedestrian Trajectory Prediction

Pu Zhang, Wanli Ouyang+3 more|arXiv (Cornell University)|Mar 7, 2019

Anomaly Detection Techniques and Applications参考文献 51被引用数 33

ひとこと要約

SR-LSTM は、社会的配慮に基づく情報選択を伴う状態リファインメントモジュールを導入し、メッセージパッシングを介して現在の近傍情報と適応的な近傍選択を活用して歩行者の LSTM 状態を共同でリファインします。ETH および UCY データセットで最先端の結果を達成します。

ABSTRACT

In crowd scenarios, reliable trajectory prediction of pedestrians requires insightful understanding of their social behaviors. These behaviors have been well investigated by plenty of studies, while it is hard to be fully expressed by hand-craft rules. Recent studies based on LSTM networks have shown great ability to learn social behaviors. However, many of these methods rely on previous neighboring hidden states but ignore the important current intention of the neighbors. In order to address this issue, we propose a data-driven state refinement module for LSTM network (SR-LSTM), which activates the utilization of the current intention of neighbors, and jointly and iteratively refines the current states of all participants in the crowd through a message passing mechanism. To effectively extract the social effect of neighbors, we further introduce a social-aware information selection mechanism consisting of an element-wise motion gate and a pedestrian-wise attention to select useful message from neighboring pedestrians. Experimental results on two public datasets, i.e. ETH and UCY, demonstrate the effectiveness of our proposed SR-LSTM and we achieves state-of-the-art results.

研究の動機と目的

• 現在の近傍の意図を取り入れて、正確な歩行者軌跡予測を動機づける。
• メッセージパッシングを通じて全歩行者の LSTM 状態を反復的にリファインする状態リファインメントモジュールを開発する。
• 社会的配慮に基づく情報選択を導入し、有用な近傍特徴を適応的に選択する。
• 過去の隠れ状態だけでなく、現在の近傍状態をリファインメントに活用できるようにする。
• ETH および UCY データセットで最先端の結果を示し、その有効性を実証する。

提案手法

• 各歩行者についてベーシックな LSTM を用いて軌跡をエンコードする。
• 歩行者間のメッセージパッシングを介してセル状態をリファインする States Refinement (SR) モジュールを追加する。
• 歩行者ごとのアテンションとモーションゲートを用いた社会的配慮情報選択メカニズムを実装し、近傍特徴を選択する。
• 近傍寄与を重み付けするために、アテンションとモーションゲートを用いたメッセージパッシング M を定義する（式7–10）。
• 次の位置を予測する前に、より深い相互作用をモデリングするために複数回のリファインメント反復（L）を許す。

実験結果

リサーチクエスチョン

• RQ1 現在の近傍状態を活用して、軌跡予測のための歩行者間の相互作用をより良く推定できますか？
• RQ2 適応型特徴選択（モーションゲートと歩行者ごとのアテンション）は、均一重み付けよりもメッセージパッシングの有効性を向上させますか？
• RQ3 リファインメント反復回数が予測精度に与える影響はどの程度ですか？
• RQ4 SR-LSTM は ETH/UCY データセットにおいて、既存の S-LSTM や GAN ベースの手法と比較してどのように性能しますか？

主な発見

• SR-LSTM は、社会的配慮型メッセージパッシングを用いることで ETH/UCY における MAD/FAD の予測精度をベースラインより向上させる。
• モーションゲートと歩行者ごとのアテンションの両方を用いると最良の改善が得られる（表2のバリアント5）。
• 複数回のリファインメント反復（L）で性能が向上し、2回の反復がしばし最適であることが多い。
• 現在の近傍状態を用いることで、過去の状態のみを用いる場合より予測精度に大きな利得がある。
• 提示されたベンチマーク（表3）では、SR-LSTM は V-LSTM、S-LSTM、SGAN、Sophie と比較して競争力がある、または上回る結果を達成している。