[論文レビュー] Proceedings of the 24th Computer Vision Winter Workshop

Haddad, Sirin, Wu, Meiqing+2 more|arXiv (Cornell University)|Feb 13, 2019

Autonomous Vehicle Technology and Safety参考文献 26被引用数 53

ひとこと要約

本論文では、混雑したシーンにおける歩行者同士および歩行者と障害物の相互作用をモデル化するため、動的アテンション機構を備えた空間時間的グラフベースのLSTMを提案する。静的障害物は、近接している場合にのみ統合し、空間的および時間的次元におけるマルチヘッドアテンション機構を用いることで、ベンチマークデータセット上で最先端の手法と比較して、ADEを最大55%、FDEを最大61%削減する。

ABSTRACT

Pedestrian trajectory prediction is essential for collision avoidance in autonomous driving and robot navigation. However, predicting a pedestrian's trajectory in crowded environments is non-trivial as it is influenced by other pedestrians' motion and static structures that are present in the scene. Such human-human and human-space interactions lead to non-linearities in the trajectories. In this paper, we present a new spatio-temporal graph based Long Short-Term Memory (LSTM) network for predicting pedestrian trajectory in crowded environments, which takes into account the interaction with static (physical objects) and dynamic (other pedestrians) elements in the scene. Our results are based on two widely-used datasets to demonstrate that the proposed method outperforms the state-of-the-art approaches in human trajectory prediction. In particular, our method leads to a reduction in Average Displacement Error (ADE) and Final Displacement Error (FDE) of up to 55% and 61% respectively over state-of-the-art approaches.

研究の動機と目的

• 混雑した屋外環境における歩行者軌道予測を向上させるために、動的（歩行者）および静的（障害物）の相互作用をモデル化すること。
• 従来のモデルが静的障害物を無視するか、一様にグローバルアテンションを適用するという限界を解消すること。
• 文脈的に関連する場合にのみ静的障害物を動的に統合することで、より安定的かつ正確な予測モデルを構築すること。
• グラフベースのアテンション機構を用いて、歩行者間のグローバルな相互作用と障害物とのローカルな相互作用を明示的にモデル化することで、軌道予測を向上させること。

提案手法

• 歩行者と静的障害物をノードとしてエンコードする空間時間的グラフを提案し、エッジは空間的・時間的関係を表す。
• 静的障害物が歩行者の運動に影響を及える可能性がある距離閾値内にいる場合にのみ、それを含む動的グラフ構築戦略を導入する。
• 歩行者および障害物の空間的・時間的特徴に基づいて、アテンション重みを計算するためのグラフ上でのマルチヘッドアテンション機構を採用する。
• [12]のインスピレーションを受けて簡素化されたマルチヘッドアテンション機構を用い、時間経過にわたる周囲のエージェントおよび障害物からの影響を集約する。
• 将来の軌道ステップにおける負の対数尤度損失を用いてモデルを訓練し、予測誤差を最小化する。
• 多様で現実的な将来の軌道を不確実性モデリングとともに生成するため、変分推論フレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 動的障害物を動的に統合する空間時間的グラフベースのモデルは、混雑したシーンにおける軌道予測精度を向上させることができるか？
• RQ2 歩行者間のグローバルな相互作用と障害物とのローカルな相互作用を両方モデル化することは、片方のみを考慮するモデルと比較して予測性能にどのように影響するか？
• RQ3 近接する歩行者および障害物からの影響を重みづけするグラフベースのアテンション機構は、軌道予測における変位誤差をどの程度低減するか？
• RQ4 提案手法は、群衆密度や障害物の有無が異なる多様な都市環境に一般化可能か？

主な発見

• H-H-Oモデルは、データセット全体にわたる平均で、最先端手法と比較して平均変位誤差（ADE）を55%、最終変位誤差（FDE）を61%削減した。
• Hotelデータセットでは、Social GAN-20Vと比較してFDEを93%削減し、街灯や木などの密集した静的障害物が存在するシーンでも優れた性能を示した。
• ETHデータセットでは、Social-LSTMと比較してFDEを89%削減し、高密度な歩行者相互作用における衝突回避性能の向上を確認した。
• H-H-Oモデルが達成した最小FDEは、Hotelセットで0.11mであり、Social-LSTMの0.80mおよびSGAN-20Vの0.84mと比べて顕著に低い。
• 定性的な結果から、H-H-Oモデルはベンチや店舗の入り口周辺での回避行動を正しく予測している一方、ベースラインモデルは物理的障害物を無視していることが明らかになった。
• 環境制約のより良いモデル化のおかげで、特に最終予測ステップにおいて、予測軌道が真値軌道とより一貫性を持つようになった。