[論文レビュー] A Graph Attention Based Approach for Trajectory Prediction in Multi-agent Sports Games

Ding Ding, H. Howie Huang|arXiv (Cornell University)|Dec 18, 2020

Sports Analytics and Performance参考文献 19被引用数 4

ひとこと要約

本稿では、スポーツゲームにおけるマルチエージェント軌道予測のため、時系列畳み込みネットワーク（TCN）を組み合わせたグラフ自己注意ネットワークを提案する。これにより、選手間の細分化された依存関係をモデル化可能となる。パーミュテーション不変性に基づくグラフ自己注意と長距離時系列モデリングにより、RNNベースおよびGNNベースのベースラインを上回る最先端の性能を達成し、バスケットボールおよびサッカーのデータセットで優れた結果を示す。

ABSTRACT

This work investigates the problem of multi-agents trajectory prediction. Prior approaches lack of capability of capturing fine-grained dependencies among coordinated agents. In this paper, we propose a spatial-temporal trajectory prediction approach that is able to learn the strategy of a team with multiple coordinated agents. In particular, we use graph-based attention model to learn the dependency of the agents. In addition, instead of utilizing the recurrent networks (e.g., VRNN, LSTM), our method uses a Temporal Convolutional Network (TCN) as the sequential model to support long effective history and provide important features such as parallelism and stable gradients. We demonstrate the validation and effectiveness of our approach on two different sports game datasets: basketball and soccer datasets. The result shows that compared to related approaches, our model that infers the dependency of players yields substantially improved performance. Code is available at https://github.com/iHeartGraph/predict

研究の動機と目的

• マルチエージェントスポーツゲームにおける協調的エージェント間の細分化された役割固有の依存関係を捉えることのできない従来手法の限界を解決すること。
• 事前に定義された役割なしに、原始的な軌道データからチーム固有の戦略を学習する軌道予測モデルを開発すること。
• 勾配安定性と長距離時系列モデリングの観点から、LSTM や VRNN などの再帰的ネットワーク（RNN）を時系列畳み込みネットワーク（TCN）に置き換えること。
• エージェントの順序が予測に影響しないように、完全結合グラフ構造を用いることでパーミュテーション不変のモデリングを可能にすること。
• 実験的評価を通じて、モデルのチーム間汎用性と単一チーム戦略への特化能力を検証すること。

提案手法

• 各時刻におけるエージェントを完全結合グラフで表現し、選手を対称的に扱うことでパーミュテーション不変性を確保する。
• 空間的位置と状態に基づいて、エージェント間の動的で細分化された依存関係をモデル化するための自己注意係数を計算する。
• 安定した勾配と並列処理を可能にするため、長距離時系列依存関係を捉える順序系列モデルとして時系列畳み込みネットワーク（TCN）を採用する。
• エージェント特徴量を注意ブロックで処理し、各時刻におけるグラフ埋め込みを生成し、それをTCNの残差ブロックに供給する。
• マルチヘッド自己注意機構を用いて、全エージェント（ボールを含む）の将来の軌道をエンドツーエンドで予測するように、モデル全体を端末から端末まで訓練する。
• 残差ブロック構造をTCNに採用することで、残差マッピングを学習し、深層ネットワークの訓練を可能にする。

実験結果

リサーチクエスチョン

• RQ1 グラフ自己注意機構は、マルチエージェントスポーツゲームにおける選手間の細分化された依存関係を効果的にモデル化できるか？
• RQ2 RNNをTCNに置き換えることで、精度、学習安定性、長距離時系列モデリングの観点から、軌道予測性能が向上するか？
• RQ3 事前に役割を割り当てず、軌道データからチーム固有の戦略を学習し、推論できるか？
• RQ4 本手法は、バスケットボールおよびサッカーのデータセットにおいて、最先端の手法と比較して優れた性能を示すか？
• RQ5 単一チームで学習した場合と複数チームを混在させて学習した場合とで、性能に差が出るか？

主な発見

• 提案されたグラフ＋自己注意＋TCNモデルは、トロント・ラプターズのディフェンスデータセットで平均L2誤差4.95フィート、オフェンスデータセットで6.20フィートを記録し、すべてのベースラインを上回る。
• ディフェンス予測タスクでは、ミス率を48.44％まで低下させ、次に優れた手法（グラフ＋VRNN）の63.01％を大きく下回った。
• オフェンス予測タスクでは、ミス率59.44％を達成し、グラフ＋VRNNの63.21％を下回り、一般化性能と戦略学習の向上を示した。
• 単一チーム（トロント・ラプターズ）を対象にモデル化した場合、注意ベースのモデルは非注意ベースのベースラインに比べて顕著な性能向上を示し、チーム固有戦略の有効な学習を裏付けた。
• TCNに基づく順序系列モデルは、LSTMなどのRNNと比較して、勾配の流れが滑らかで、並列処理が可能であり、安定した学習と長距離の有効な履歴を実現した。
• アブレーションスタディの結果、グラフ自己注意機構が性能に不可欠であることが確認された。特に、複雑な協調行動のシナリオでは、この機構を削除すると精度が著しく低下した。