[논문 리뷰] A Graph Attention Based Approach for Trajectory Prediction in Multi-agent Sports Games

Ding Ding, H. Howie Huang|arXiv (Cornell University)|2020. 12. 18.

Sports Analytics and Performance참고 문헌 19인용 수 4

한 줄 요약

이 논문은 농구 및 축구 경기에서 다중 에이전트 궤도 예측을 위해 시간적 컨volution 네트워크(TCN)를 갖춘 그래프 어텐션 네트워크를 제안한다. 이는 선수 간의 세밀한 의존 관계를 모델링할 수 있도록 한다. 순열에 대한 불변성을 갖춘 그래프 어텐션과 장기적 시계열 모델링을 통해 팀별 전략을 학습함으로써, 농구 및 축구 데이터셋에서 RNN 기반 및 GNN 기반의 기존 모델들을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This work investigates the problem of multi-agents trajectory prediction. Prior approaches lack of capability of capturing fine-grained dependencies among coordinated agents. In this paper, we propose a spatial-temporal trajectory prediction approach that is able to learn the strategy of a team with multiple coordinated agents. In particular, we use graph-based attention model to learn the dependency of the agents. In addition, instead of utilizing the recurrent networks (e.g., VRNN, LSTM), our method uses a Temporal Convolutional Network (TCN) as the sequential model to support long effective history and provide important features such as parallelism and stable gradients. We demonstrate the validation and effectiveness of our approach on two different sports game datasets: basketball and soccer datasets. The result shows that compared to related approaches, our model that infers the dependency of players yields substantially improved performance. Code is available at https://github.com/iHeartGraph/predict

연구 동기 및 목표

• 다중 에이전트 스포츠 게임에서 협력하는 에이전트 간의 세밀한 역할 기반 의존성을 기존 방법들이 포착하지 못하는 한계를 해결하기 위해.
• 사전 정의된 역할 없이 원시 궤도 데이터에서 팀 전용 전략을 학습할 수 있는 궤도 예측 모델을 개발하기 위해.
• 더 나은 기울기 안정성과 장기적 컨텍스트 모델링을 위해 순환 네트워크(LSTM, VRNN 등)를 시간적 컨볼루션 네트워크(TCN)로 대체하기 위해.
• 에이전트 순서가 예측에 영향을 주지 않도록 하기 위해 완전히 연결된 그래프 구조를 사용하여 순열에 대한 불변성 모델링을 가능하게 하기 위해.
• 실증적 평가를 통해 모델이 팀 간 일반화 능력과 단일 팀 전략에 특화된 능력을 갖추고 있는지를 검증하기 위해.

제안 방법

• 각 시간 단계에서 에이전트를 완전히 연결된 그래프로 표현하여, 선수들을 대칭적으로 취급함으로써 순열에 대한 불변성을 확보한다.
• 에이전트 간의 동적이고 세밀한 의존성을 공간적 위치와 상태에 기반해 모델링하기 위해 그래프 어텐션 메커니즘을 적용하여 어텐션 계수를 계산한다.
• 안정적인 기울기와 병렬 처리를 통해 장거리 시계열 의존성을 캡처하기 위해 순차적 모델로 시간적 컨볼루션 네트워크(TCN)를 사용한다.
• 에이전트 특징을 어텐션 블록을 통해 처리하여 각 시간 단계에서 그래프 임베딩을 생성하고, 이를 TCN의 잔차 블록에 입력한다.
• 다중 헤드 어텐션 메커니즘을 사용하여 모든 에이전트(공 포함)의 향후 궤도를 예측하기 위해 전체 모델을 엔드 투 엔드로 훈련하며, 표현 학습을 향상시킨다.
• 깊은 네트워크 훈련을 가능하게 하기 위해 잔차 블록 설계를 TCN에 적용하여 잔차 매핑을 학습한다.

실험 결과

연구 질문

• RQ1 그래프 어텐션 메커니즘이 다중 에이전트 스포츠 게임에서 선수 간의 세밀한 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 순환 네트워크를 TCN로 대체함으로써 궤도 예측 성능이 정확도, 훈련 안정성, 장기적 컨텍스트 모델링 측면에서 향상되는가?
• RQ3 사전 역할 할당 없이 궤도 데이터에서 팀 전용 전략을 학습하고 추론할 수 있는가?
• RQ4 제안된 방법이 농구 및 축구 데이터셋에서 최신 기술 수준의 접근법과 비교해 어떻게 성능을 내는가?
• RQ5 혼합 팀 대비 단일 팀에서 훈련했을 때 모델이 더 높은 성능을 내는가?

주요 결과

• 제안된 그래프 + 어텐션 + TCN 모델은 토리onto 레이더스 수비 데이터셋에서 평균 L2 오차 4.95피트, 공격 데이터셋에서 6.20피트를 기록하여 모든 기준 모델을 능가한다.
• 수비 예측 과제에서 모델은 실수율을 48.44%로 낮추었으며, 다음으로 좋은 방법인 그래프 + VRNNs의 63.01%보다 유의미하게 낮췄다.
• 공격 예측 과제에서 모델은 실수율 59.44%를 기록했고, 그래프 + VRNNs의 63.21%보다 높은 일반화 능력과 전략 학습 능력을 보였다.
• 단일 팀(토리onto 레이더스)을 대상으로 모델링했을 때, 어텐션 기반 모델은 비어텐션 기반 기준 모델보다 성능 향상이 뚜렷했으며, 팀 전용 전략 학습이 효과적으로 이루어졌음을 시사한다.
• TCN 기반 순차적 모델은 RNN(예: LSTM)과 비교해 기울기 흐름이 우수하고 병렬 처리가 가능하여 안정적인 훈련과 긴 유효한 역사 기록을 가능하게 했다.
• 제거 실험 결과, 그래프 어텐션 메커니즘이 성능에 결정적인 영향을 미친다는 것이 확인되었으며, 특히 복잡한 협동 상황에서 이를 제거하면 정확도가 크게 떨어졌다.