[論文レビュー] StarNet: Pedestrian Trajectory Prediction using Deep Neural Network in Star Topology

Yanliang Zhu, Deheng Qian+2 more|arXiv (Cornell University)|Jun 5, 2019

Autonomous Vehicle Technology and Safety参考文献 25被引用数 28

ひとこと要約

StarNetは、全歩行者間の集団的相互作用をモデル化する中心的なハブネットワークと、個々の軌道予測のための複数のホストネットワークを備えたスターポラス構造の深層ニューラルネットワークを提案する。この設計により、計算量が線形にスケーリングされる複雑な非ペアワイズ相互作用を効率的に捉えることができ、最先端の精度を達成するとともに、従来手法と比較して3–51倍高速な推論が可能となる。

ABSTRACT

Pedestrian trajectory prediction is crucial for many important applications. This problem is a great challenge because of complicated interactions among pedestrians. Previous methods model only the pairwise interactions between pedestrians, which not only oversimplifies the interactions among pedestrians but also is computationally inefficient. In this paper, we propose a novel model StarNet to deal with these issues. StarNet has a star topology which includes a unique hub network and multiple host networks. The hub network takes observed trajectories of all pedestrians to produce a comprehensive description of the interpersonal interactions. Then the host networks, each of which corresponds to one pedestrian, consult the description and predict future trajectories. The star topology gives StarNet two advantages over conventional models. First, StarNet is able to consider the collective influence among all pedestrians in the hub network, making more accurate predictions. Second, StarNet is computationally efficient since the number of host network is linear to the number of pedestrians. Experiments on multiple public datasets demonstrate that StarNet outperforms multiple state-of-the-arts by a large margin in terms of both accuracy and efficiency.

研究の動機と目的

• 従来の歩行者軌道予測モデルがペアワイズ相互作用のみをモデル化するという限界を是正すること。これは現実の集団的ダイナミクスを単純化しすぎている。
• 群衆に属する全歩行者間の包括的かつ集団的な相互作用を捉えることで、予測精度を向上させること。
• 歩行者の数に対して計算量が二次関数的から線形に低下するようにすることで、計算効率を向上させること。
• 多様な混雑シーンにわたり高い性能を維持できるスケーラブルなディーブラーニングアーキテクチャを開発すること。
• ベンチマークデータセットにおいて、精度と推論速度の両面で優れた性能を示すこと。

提案手法

• StarNetは、1つの中央ハブネットワークと、各歩行者に対応する複数のホストネットワークを備えたスターポラス構造を採用する。
• ハブネットワークは、全歩行者の観測された軌道を処理し、人間関係的相互作用の包括的かつ統合された時空間表現 r を生成する。
• 各ホストネットワークは、共有表現 r を用いて、1人の歩行者の将来の軌道を予測する。これにより、文脈に適応した、相互作用に配慮した予測が可能になる。
• ホストネットワークでは、アテンションメカニズムを内蔵したエンコーダデコーダアーキテクチャを採用し、関連する歴史的移動と相互作用特徴を重みづけする。
• ハブネットワークはエンドツーエンドで学習され、共同相互作用を符号化する。一方、ホストネットワークは r と個々の軌道を条件として将来の軌道を予測するように学習される。
• このアーキテクチャにより、計算量の複雑性が歩行者の数に対して線形にスケーリングされる。これはペアワイズ相互作用モデルとは異なり、二次関数的スケーリングではない。

実験結果

リサーチクエスチョン

• RQ1 群衆に属する全歩行者間の集団的相互作用をモデル化することで、ペアワイズ相互作用モデルに比べてより正確な軌道予測が可能になるか？
• RQ2 中心的なハブネットワークは、計算的に効率的に複雑な多人数相互作用を効果的に表現できるか？
• RQ3 スターポラス構造のディーブラーニングアーキテクチャは、従来の最先端モデルに比べ、より高い精度と高速な推論を達成できるか？
• RQ4 多様な混雑シーン、特に相互作用パターンが異なる状況において、提案モデルの頑健性はどの程度か？
• RQ5 現実の状況におけるマルチモーダルな軌道分布に対して、モデルはどの程度効果的に不確実性をモデル化できるか？

主な発見

• StarNetは、ETHおよびUCYの両データセットで、最も低い平均移動誤差（ADE）と最終移動誤差（FDE）を達成し、Social LSTM、Social GAN、Social Attentionを上回った。
• ETHデータセットでは、次善のベースラインであるSocial Attentionに比べ、ADEを15.2%、FDEを18.4%低減した。
• StarNetは、Social Attention（0.073秒の推論時間）の51倍、Social LSTM（0.504秒）の7倍高速であり、パラメータ数はたったの31.9Kであった。
• 異なるシーンにおけるADEおよびFDEの分散が低く抑えられており、シーン固有の相互作用パターンに対して頑健であることが示された。
• 定性的な結果から、衝突回避やグループ移動を伴う複雑な状況でも、StarNetは現実的で衝突のない軌道を予測していることが分かった。
• 一部のマルチモーダルな状況（例えば、分岐する経路）では失敗が見られたが、予測された軌道は依然として現実的であり、不確実性の効果的なモデル化が行われていることが示唆された。