[논문 리뷰] Transformer-Based Neural Marked Spatio Temporal Point Process Model for Football Match Events Analysis

Calvin C. K. Yeung, Tony Sit외 1명|arXiv (Cornell University)|2023. 02. 18.

Point processes and geometric inequalities인용 수 5

한 줄 요약

이 논문은 페널티킥, 슈팅, 패assing 등의 경기 이벤트의 간격, 공간적 위치, 행동 유형을 종속적인 방식으로 함께 모델링할 수 있는 Transformer 기반 신경 마킹 시공간 포인트 프로세스(NMSTPP) 모델을 제안한다. 이 모델은 기준 모델 대비 이벤트 예측 성능에서 뛰어나며, 슈팅 또는 골 데이터에 의존하지 않더라도 최종 순위, 평균 골, xG와 같은 팀 성과 지표와 강한 상관관계를 보이는 통합된 소유권 활용도 점수(HPUS)를 도입한다.

ABSTRACT

With recently available football match event data that record the details of football matches, analysts and researchers have a great opportunity to develop new performance metrics, gain insight, and evaluate key performance. However, most sports sequential events modeling methods and performance metrics approaches could be incomprehensive in dealing with such large-scale spatiotemporal data (in particular, temporal process), thereby necessitating a more comprehensive spatiotemporal model and a holistic performance metric. To this end, we proposed the Transformer-Based Neural Marked Spatio Temporal Point Process (NMSTPP) model for football event data based on the neural temporal point processes (NTPP) framework. In the experiments, our model outperformed the prediction performance of the baseline models. Furthermore, we proposed the holistic possession utilization score (HPUS) metric for a more comprehensive football possession analysis. For verification, we examined the relationship with football teams' final ranking, average goal score, and average xG over a season. It was observed that the average HPUS showed significant correlations regardless of not using goal and details of shot information. Furthermore, we show HPUS examples in analyzing possessions, matches, and between matches.

연구 동기 및 목표

• 기존 모델이 축구 이벤트의 시간, 공간, 행동 성분을 독립적으로 다루는 데서 비롯하는 한계를 해결하기 위해.
• 이벤트 간 간격, 위치, 행동 유형 간의 종속성을 포괄적으로 포착할 수 있는 종합적인 시공간 모델을 개발하기 위해.
• 시간, 공간, 행동 요소를 통합한 팀 소유권 효율성을 평가할 수 있는 새로운 성과 지표인 HPUS를 제안하기 위해.
• NMSTPP 모델의 예측 우수성과 HPUS 지표가 실제 팀 성과와의 관련성을 검증하기 위해.
• 이 모델이 축구뿐 아니라 다른 순차적 스포츠의 새로운 성과 지표 도출 기반으로 활용될 수 있음을 보여주기 위해.

제안 방법

• NMSTPP 모델은 축구 이벤트를 시간, 공간 좌표, 행동 유형의 세 가지 성분을 가진 마킹된 포인트 프로세스로 모델링하기 위해 신경 시간 포인트 프로세스(NTPP) 프레임워크 내에 구축된다.
• 장기적 의존성을 자기주의 어텐션 메커니즘을 통해 포괄하는 전역 이벤트 기록을 인코딩하기 위해 트랜스포머 인코더를 사용한다.
• 조건부 강도 함수는 과거 이벤트 전체 기록을 조건으로 삼아 다음 이벤트의 위험도를 출력하는 신경망에 의해 매개변수화된다.
• 다변량 출력 헤드를 사용하여 마킹된 포인트 프로세스를 모델링함으로써 다음 이벤트의 시간, 위치, 유형을 동시에 예측한다.
• HPUS 지표는 모델의 예측된 이벤트 확률과 시간 역학을 기반으로 유도되며, 시간과 공간 전반에서 팀이 소유권을 얼마나 효과적으로 활용하는지를 수량화한다.
• 모델 훈련 및 하이퍼파라미터 튜닝은 개방형 브라질리언 분데스리가 경기 데이터를 기반으로 수행되었으며, 공동 모델링의 중요성을 검증하기 위해 아블레이션 연구가 실시되었다.

실험 결과

연구 질문

• RQ1 이벤트 간 간격, 공간적 위치, 행동 유형을 공동으로 모델링하는 접근 방식이 독립적 또는 순차적 모델링 대비 성능 향상에 기여하는가?
• RQ2 제안된 HPUS 지표는 최종 리그 순위, 평균 골, xG와 같은 실제 팀 성과 지표와 얼마나 잘 상관되는가?
• RQ3 시간 역학을 포함할 경우, 시간을 忽略하는 모델에 비해 모델의 예측 능력이 유의미하게 향상되는가?
• RQ4 트랜스포머 기반 아키텍처가 순차적 의존성을 포착하는 데서 RNN 기반 또는 어텐션 없는 아키텍처에 비해 얼마나 뛰어난가?
• RQ5 NMSTPP 모델이 전통적인 지표(예: xG, poss-util)를 초월해 새로운 통합 성과 지표 도출 기반으로 활용될 수 있는가?

주요 결과

• NMSTPP 모델은 아블레이션 연구를 통해 시간, 공간, 행동 유형의 공동 모델링이 예측 정확도 향상에 기여함을 확인함으로써 기준 모델 대비 뛰어난 예측 성능을 달성하였다.
• 통합 소유권 활용도 점수(HPUS)는 최종 리그 순위, 경기당 평균 골, 시즌 평균 xG 등 팀 성과 지표와 유의미하고 일관된 상관관계를 보였다.
• 슈팅 또는 골 데이터를 사용하지 않더라도 HPUS 지표가 높은 타당성을 보이며, 시공간 역학을 통해 소유권의 질을 효과적으로 포착함을 시사한다.
• 특히 트랜스포머 인코더를 통해 모델 아키텍처가 축구 이벤트 시퀀스의 장기적 의존성을 효과적으로 포착했으며, RNN 기반 기준 모델에 비해 뛰어난 성능을 보였다.
• 아블레이션 연구를 통해 시간, 공간, 행동 유형의 세 성분을 함께 모델링하는 것이 성능 향상에 기여함을 확인하였으며, 통합적 접근의 필요성을 검증하였다.
• NMSTPP 모델은 일반화 가능성이 높으며, 축구뿐 아니라 순차적이고 다변량 이벤트 데이터를 갖는 다른 스포츠의 새로운 성과 지표 도출 기반으로 활용될 수 있다.