[논문 리뷰] "Why Would I Trust Your Numbers?" On the Explainability of Expected Values in Soccer

Jan Van Haaren|arXiv (Cornell University)|2021. 05. 27.

Sports Analytics and Performance참고 문헌 14인용 수 8

한 줄 요약

이 논문은 축구에서 골 기대치(xG)를 추정하기 위해 설명 가능한 일반화된 덧셈 모델을 제안한다. 이 모델은 16개의 전술적으로 의미 있는 골대 영역에 슈팅 위치를 흐린 할당 방식으로 표현함으로써 실무자들이 이해하기 쉬운 방식으로 모델의 해석 가능성을 높이면서도 정확도를 손상시키지 않는다. 기존 모델들이 추상적인 공간적 특징을 사용하는 것과 달리, 본 연구는 축구에서 익숙한 개념을 활용하여 성과 지표의 신뢰성과 투명성을 향상시킨다.

ABSTRACT

In recent years, many different approaches have been proposed to quantify the performances of soccer players. Since player performances are challenging to quantify directly due to the low-scoring nature of soccer, most approaches estimate the expected impact of the players' on-the-ball actions on the scoreline. While effective, these approaches are yet to be widely embraced by soccer practitioners. The soccer analytics community has primarily focused on improving the accuracy of the models, while the explainability of the produced metrics is often much more important to practitioners. To help bridge the gap between scientists and practitioners, we introduce an explainable Generalized Additive Model that estimates the expected value for shots. Unlike existing models, our model leverages features corresponding to widespread soccer concepts. To this end, we represent the locations of shots by fuzzily assigning the shots to designated zones on the pitch that practitioners are familiar with. Our experimental evaluation shows that our model is as accurate as existing models, while being easier to explain to soccer practitioners.

연구 동기 및 목표

• 기계학습에 익숙하지 않은 실무자들이 골 기대치 지표를 적극적으로 활용하지 못하는 문제를 해결하기 위해, 이러한 지표의 설명 가능성을 향상시키기 위해.
• 데이터 과학자와 축구 실무자 간의 격차를 해소하기 위해, 슈팅 위치 표현에 직관적이고 전술적으로 관련성이 높은 특징을 사용하기 위해.
• 수동으로 정의된, 축구적 의미가 있는 특징 상호작용을 통해 예측 정확도를 유지하면서도 설명 가능한 모델을 개발하기 위해.
• 골대 영역 기반의 공간 표현 방식이 성능에 손상을 주지 않으면서도 모델의 설명 가능성을 향상시키는지 평가하기 위해.

제안 방법

• 각 특징의 기여도가 가산적이고 해석 가능한 모델을 확보하기 위해 설명 가능한 부스팅 머신(EBM)을 사용한다.
• 슈팅 위치는 기존의 골과의 거리 및 골에 대한 각도 특징을 대체하기 위해, 기존의 전술적 프레임워크를 기반으로 한 16개의 골대 영역에 흐린 할당 방식으로 표현된다.
• 모델이 임의의 상호작용을 학습하는 대신, 축구 전용 논리에 기반해 수동으로 정의된 특징 상호작용(예: 신체 부위와 영역 간의 상호작용)을 사용한다.
• 경기 이벤트 데이터를 기반으로 모델을 훈련하여 슈팅이 골이 될 확률을 예측하며, 국소 SHAP 설명을 통해 모델의 해석 가능성을 지원한다.
• VAEP 및 Decroos & Davis (2019)와 같은 기존 xG 모델과 비교했을 때 유사한 예측 정확도를 유지함으로써 모델 성능을 보존한다.

실험 결과

연구 질문

• RQ1 실무자들이 익숙한 골대 영역을 사용하는 모델이 정확도를 저하시키지 않으면서도 골 기대치(xG)의 설명 가능성을 향상시킬 수 있는가?
• RQ2 자동으로 학습된 상호작용과 비교해 수동으로 정의된 축구적 의미가 있는 특징 상호작용은 모델의 해석 가능성에 어떤 영향을 미치는가?
• RQ3 추상적인 공간적 특징(예: 골과의 거리, 골에 대한 각도)을 영역 기반 표현으로 대체할 경우, 비기술적 실무자들 사이에서 신뢰도가 얼마나 향상되는가?
• RQ4 제안된 위치 인코딩 방식은 다양한 종류의 슈팅과 선수 포지션에 걸쳐 잘 작동하는가?

주요 결과

• 제안된 모델는 기존의 최첨단 xG 모델, 특히 기울기 부스팅 결정 트리 기반 모델과 비교해 유사한 예측 성능을 달성한다.
• 전술적으로 의미 있는 16개의 골대 영역을 사용함으로써 축구 실무자들이 슈팅 가치 예측의 해석 가능성을 크게 향상시킬 수 있었다.
• 축구 개념에 기반해 수동으로 정의된 특징 상호작용은 자동으로 학습된 상호작용보다 더 직관적이고 신뢰할 수 있는 설명을 제공한다.
• 국소 SHAP 설명은 슈팅 영역, 신체 부위, 펜alty 스폰트 근접도 등의 특징이 최종 xG 추정치에 어떻게 기여하는지 명확히 보여준다.
• 모델의 가산적 구조 덕분에 실무자들이 각 요소의 기여도를 이해할 수 있다(예: 영역 6에서의 헤딩 슈팅은 xG를 높이고, 측면에서의 장거리 슈팅은 xG를 낮춘다).