[論文レビュー] CoMoGCN: Coherent Motion Aware Trajectory Prediction with Graph Representation

Yuying Chen, Congcong Liu+2 more|arXiv (Cornell University)|May 2, 2020

Video Surveillance and Tracking Methods参考文献 2被引用数 7

ひとこと要約

CoMoGCNは、社会的相互作用のモデリングを向上させるために、一貫性のある運動クラスタリングと変分自己オートエンコーダー（VAE）を統合したグラフ畳み込みネットワーク（GCN）ベースの軌跡予測モデルを提案する。歩行者を運動的一貫性のあるグループにクラスタリングし、GCNを用いてグループ内およびグループ間の相互作用をモデル化することで、ETHとUCYの複数のベンチマークで最先端の性能を達成し、Social GANに比べて平均でADEが22.4%、FDEが22.9%向上した。

ABSTRACT

Forecasting human trajectories is critical for tasks such as robot crowd navigation and autonomous driving. Modeling social interactions is of great importance for accurate group-wise motion prediction. However, most existing methods do not consider information about coherence within the crowd, but rather only pairwise interactions. In this work, we propose a novel framework, coherent motion aware graph convolutional network (CoMoGCN), for trajectory prediction in crowded scenes with group constraints. First, we cluster pedestrian trajectories into groups according to motion coherence. Then, we use graph convolutional networks to aggregate crowd information efficiently. The CoMoGCN also takes advantage of variational autoencoders to capture the multimodal nature of the human trajectories by modeling the distribution. Our method achieves state-of-the-art performance on several different trajectory prediction benchmarks, and the best average performance among all benchmarks considered.

研究の動機と目的

• 混雑したシーンにおける一貫性のある運動のまとまりを無視する既存手法の限界を是正すること。
• 一貫性のある運動クラスタリングを用いて中位の社会的ダイナミクスを統合することで、軌跡予測の精度を向上させること。
• グラフ畳み込みネットワークを用いて、変動する群衆のサイズを自然に扱えるスケーラブルで微分可能なフレームワークを開発すること。
• 変分自己オートエンコーダー（VAE）を活用して、頑健なマルチモーダルな軌跡生成を実現すること。
• 今後の研究を支援するため、ETHおよびUCYデータセットの新たな一貫性のある運動ラベル付きバージョンを公開すること。

提案手法

• 一貫性フィルタリングとDBSCANクラスタリングを組み合わせたハイブリッド手法を用いて、歩行者の軌跡を運動的一貫性のあるグループにクラスタリングする。
• 隣接行列を空間的近接性とグループ所属関係に基づいて定義し、グラフ畳み込みネットワーク（GCN）を用いて社会的相互作用特徴を集約する。
• 将来の軌跡のマルチモーダル分布をモデル化するために、変分自己オートエンコーダー（VAE）を用い、多様で現実的な予測を可能にする。
• GCNはグループ内およびグループ間の相互作用を処理し、ペアワイズ関係を超えた複雑な社会的ダイナミクスを捉えることができる。
• 最終的な予測は、VAEの潜在空間からのサンプリングによって生成され、平均ベクトルが決定論的推論に用いられる。
• 再構成損失とKLダイバージェンス損失を用いて、確率的勾配降下法でエンドツーエンドに訓練される。

実験結果

リサーチクエスチョン

• RQ1 ペアワイズ相互作用モデルと比較して、歩行者グループ内の一貫性のある運動パターンをモデル化することで、軌跡予測の精度が向上するか？
• RQ2 グループレベルの運動制約を統合することで、軌跡予測モデルの一般化性能とロバストネスにどのような影響を与えるか？
• RQ3 動的群衆相互作用をモデル化する際、GCNは従来のプーリングベースの集約手法をどの程度上回るか？
• RQ4 GANベースの代替手法と比較して、VAEベースの生成フレームワークは、マルチモーダルな人間の運動をどの程度よくモデル化できるか？
• RQ5 ハイブリッドラベリング手法（一貫性フィルタリング＋DBSCAN）は、既存の軌跡データセットにおいて一貫性のある運動グループを効果的に特定できるか？また、その影響はモデル性能にどのような影響を与えるか？

主な発見

• CoMoGCNは、ETH、UCY、HOTEL、MERTON、MARSの5つのベンチマークデータセットすべてで最先端の性能を達成し、全指標の平均性能が最良であった。
• Social GAN（最先端のGANベース手法）に比べ、平均でADEが22.4%、FDEが22.9%向上した。
• VAEを用いるTrajectronと比較して、平均でADEが15.1%低く、FDEが14.2%低かった。
• アブレーションスタディの結果、MLPに最大プーリングを用いたものと比較して、GCNベースの集約によりADEが4.1%、FDEが6.9%改善された。
• 一貫性のある運動情報を組み込むことで、GCNオンリーベースラインと比較して、ADEが4.3%、FDEが3.2%改善された。
• ハイブリッド一貫性運動ラベリング手法（一貫性フィルタリング＋DBSCAN）は、ベースラインの一貫性フィルタリング手法と比較して、ADEとFDEがそれぞれ2.2%改善された。