[論文レビュー] GroupNet: Multiscale Hypergraph Neural Networks for Trajectory Prediction with Relational Reasoning

Chenxin Xu, Maosen Li+3 more|arXiv (Cornell University)|Apr 19, 2022

Anomaly Detection Techniques and Applications被引用数 7

ひとこと要約

GroupNet は、学習可能なハイパーグラフトポロジーと三要素の相互作用埋め込み（強度、カテゴリ、カテゴリ別関数）を用いて、エージェント間のペアワイズおよびグループワイズな相互作用をモデル化するマルチスケールハイパーグラフニューラルネットワークである。関係性の明示的推論を可能にすることで、既存のモデルに統合された際、NBA、SDD、ETH-UCY データセットで最先端の性能を達成する。

ABSTRACT

Demystifying the interactions among multiple agents from their past trajectories is fundamental to precise and interpretable trajectory prediction. However, previous works only consider pair-wise interactions with limited relational reasoning. To promote more comprehensive interaction modeling for relational reasoning, we propose GroupNet, a multiscale hypergraph neural network, which is novel in terms of both interaction capturing and representation learning. From the aspect of interaction capturing, we propose a trainable multiscale hypergraph to capture both pair-wise and group-wise interactions at multiple group sizes. From the aspect of interaction representation learning, we propose a three-element format that can be learnt end-to-end and explicitly reason some relational factors including the interaction strength and category. We apply GroupNet into both CVAE-based prediction system and previous state-of-the-art prediction systems for predicting socially plausible trajectories with relational reasoning. To validate the ability of relational reasoning, we experiment with synthetic physics simulations to reflect the ability to capture group behaviors, reason interaction strength and interaction category. To validate the effectiveness of prediction, we conduct extensive experiments on three real-world trajectory prediction datasets, including NBA, SDD and ETH-UCY; and we show that with GroupNet, the CVAE-based prediction system outperforms state-of-the-art methods. We also show that adding GroupNet will further improve the performance of previous state-of-the-art prediction systems.

研究の動機と目的

• ペアワイズ関係を超えた複雑な社会的相互作用をモデル化することで、軌道予測を向上させること。
• 微分可能でエンドツーエンドの方法で相互作用の強度とカテゴリを学習することで、明示的な関係性推論を可能にすること。
• 既存の予測フレームワークに大規模なアーキテクチャの見直しを施さずに統合可能なプラグアンドプレイモジュールを開発すること。
• モデルが合成的および実世界のシナリオにおけるグループ行動と相互作用ダイナミクスを捉える能力を検証すること。

提案手法

• データからエンドツーエンドに学習可能なマルチスケールハイパーグラフを提案し、複数のグループサイズでの相互作用を捉える。
• 関係性推論のための三要素の相互作用表現（ニューラル相互作用強度、相互作用カテゴリ、カテゴリ別関数）を導入する。
• マルチスケールハイパーグラフ上でのニューラルメッセージパッシングを用いて、相互作用表現をエージェント埋め込みに集約する。
• GroupNet のプラグアンドプレイ能力を評価するために、CVAEベースのフレームワークと最先端のモデル（NMMP、PECNet、Trajectron++）をベースラインとして用いる。
• 合成的物理学シミュレーションを適用し、教師なしの関係性推論能力を評価する。これには、グループ行動の捉え方と相互作用強度の推論が含まれる。
• 標準的な指標（minADE、minFDE）を用いて、実世界のデータセット（NBA、SDD、ETH-UCY）を用いてモデルを訓練および微調整する。

Figure 1 : GroupNet captures both pair-wise and group-wise interactions among multiple agents from their trajectories and infers the interaction category and strength for each interaction group.

実験結果

リサーチクエスチョン

• RQ1 学習可能なマルチスケールハイパーグラフは、マルチエージェント軌道予測においてペアワイズおよびグループワイズな相互作用を効果的にモデル化できるか？
• RQ2 提案された三要素の相互作用表現（強度、カテゴリ、カテゴリ別関数）は、教師なし条件下でも明示的かつ学習可能な関係性推論を可能にするか？
• RQ3 GroupNet は、相互作用の複雑さが異なる多様な実世界データセットで性能を向上させるか？
• RQ4 GroupNet の性能は、グループサイズの増加および相互作用の粒度の向上に伴いどのように変化するか？
• RQ5 GroupNet は、既存の最先端の予測モデルに効果的に統合可能であり、さらなる性能向上を実現できるか？

主な発見

• CVAEベースのフレームワークにプラグインモジュールとして統合された GroupNet は、NBA、SDD、ETH-UCY データセットで最先端の性能を達成した。
• NBA データセットでは、1.0秒の予測時間軸において minADE20 を 0.34m、minFDE20 を 0.48m まで低減し、ベースラインを上回った。
• NMMP、PECNet、Trajectron++ に統合された際、GroupNet は全3つのデータセットで一貫した性能向上を示した。
• アブレーションスタディの結果、グループスケールの増加に伴い性能が向上し、十分なスケール（例：1,2,5,11）が含まれると安定化することが分かった。
• 合成的物理学シミュレーションにより、GroupNet が教師なし条件下でも相互作用強度とカテゴリを推論でき、協調的移動などのグループ行動を捉えられることを確認した。
• モデルは強力な汎化性能を示し、複雑さや相互作用パターンが異なるデータセットにおいて一貫した性能向上を達成した。

Figure 2 : The architecture of GroupNet. GroupNet has two stages: multiscale hypergraph topology inference and multiscale hypergraph neural message passing, where we infer the hypergraph topologies and capture the agent patterns with their interaction, respectively. In multiscale hypergraph neural m