[논문 리뷰] Evaluating Soccer Player: from Live Camera to Deep Reinforcement Learning

Paul Garnier, Théophane Gregoir|arXiv (Cornell University)|2021. 01. 13.

Human Pose and Action Recognition참고 문헌 22인용 수 8

한 줄 요약

이 논문은 실시간 카메라 입력과 딥 강화학습(DRL)을 사용하여 축구 선수 평가를 위한 새로운 종단 간 프레임워크를 제안하며, 예상 할인 골(EDG) 모델을 도입한다. 시스템은 개방소스 선수 추적 모델과 실시간 시뮬레이션 게임만으로 훈련된 DRL 에이전트를 결합하여 실제 경기 데이터가 필요 없이도 기존의 데이터 기반 모델과 유사한 성능을 달성함으로써 다양한 플레이 스타일에 대해 확장 가능하고 투명하며 일반화 가능한 선수 평가를 가능하게 한다.

ABSTRACT

Scientifically evaluating soccer players represents a challenging Machine Learning problem. Unfortunately, most existing answers have very opaque algorithm training procedures; relevant data are scarcely accessible and almost impossible to generate. In this paper, we will introduce a two-part solution: an open-source Player Tracking model and a new approach to evaluate these players based solely on Deep Reinforcement Learning, without human data training nor guidance. Our tracking model was trained in a supervised fashion on datasets we will also release, and our Evaluation Model relies only on simulations of virtual soccer games. Combining those two architectures allows one to evaluate Soccer Players directly from a live camera without large datasets constraints. We term our new approach Expected Discounted Goal (EDG), as it represents the number of goals a team can score or concede from a particular state. This approach leads to more meaningful results than the existing ones that are based on real-world data, and could easily be extended to other sports.

연구 동기 및 목표

• 대규모 비공개 실전 데이터셋에 의존하지 않고도 확장 가능하고 투명하며 일반화 가능한 축구 선수 평가 방법을 개발하는 것.
• 단일 카메라 영상 입력에서부터 선수 추적과 성과 평가까지의 개방소스 종단 간 파이프라인을 구축하는 것.
• 실제 경기 데이터의 인간 레이블링에 의존하지 않고도 시뮬레이션된 경기만으로 훈련된 딥 강화학습 에이전트를 통해 선수 평가를 수행하는 것.
• 시뮬레이션 기반 훈련이 기존 데이터 기반 접근 방식과 경쟁하거나 이를 초월하는 의미 있는 실질적인 선수 평가 지표를 생성할 수 있음을 입증하는 것.
• 공개 데이터셋과 소스 코드를 통해 고품질의 축구 추적 및 분석 도구에 더 넓은 접근성을 제공하는 것.

제안 방법

• 공개된 데이터셋에 기반한 지도 학습 기반의 선수 추적 모델을 사용하여 실시간 카메라 피드에서 선수 좌표를 추출한다.
• 핵심점 탐지와 이상치 제거를 통해 2차원 카메라 좌표를 필드 기반 좌표계로 매핑하는 데 사용되는 투영 변환 추정 모듈(HE)이 시점 왜곡을 보정한다.
• 외관 임bedding과 IoU 기반 추적을 이용한 칼만 필터링을 통한 ReID 모델이 프레임 간 선수 신원을 유지한다.
• 예상 할인 골(EDG) 에이전트는 시뮬레이션된 축구 환경에서 딥 강화학습을 통해 훈련되며, 골로 이어질 가능성이 있는 선수 행동에 가치를 할당하는 방식으로 학습된다.
• EDG 모델은 주어진 게임 상태에서 팀이 득점하거나 실점할 수 있는 평균 골 수를 계산하며, 공간적·시간적 요소 및 상대 팀 선수의 접근도를 고려한다.
• 전체 프레임워크는 종단 간으로 훈련되며, EDG 에이전트는 실제 경기 데이터에 노출되지 않으며 오직 합성 게임 시뮬레이션에 의존한다.

실험 결과

연구 질문

• RQ1 실제 경기 데이터에 의존하지 않고 오직 시뮬레이션된 축구 게임에서만 훈련된 딥 강화학습 에이전트가 실전 데이터 기반 평가 지표와 비슷하거나 더 정확한 선수 평가 지표를 생성할 수 있는가?
• RQ2 시뮬레이션 전용 훈련 방식이 다양한 플레이 스타일과 팀 전술에 얼마나 잘 일반화되는가?
• RQ3 EDG 모델의 행동 가치 분포가 VAEP 및 EPV와 같은 기존 지표와 비교해 현실성과 맥락적 요소에 대한 민감도 측면에서 어떻게 다른가?
• RQ4 인간 레이블링이 없는 데이터로 훈련된 EDG 에이전트가 더 객관적이고 편향이 적은 성과 평가를 제공하는가?
• RQ5 어떤 복잡한 시각 조건(예: 그림자 또는 반사광)에서도 개방소스 기반 카메라 기반 추적 시스템이 높은 정확도를 유지할 수 있는가?

주요 결과

• EDG 모델은 도움과 골에 해당하는 행동에 대해 각각 35%와 65%의 균형 잡힌 가치 분포를 할당하는 반면, VAEP는 각각 10%와 90%를 기록하여 행동 맥락에 대한 민감도가 더 높다는 것을 시사한다.
• EDG 모델은 장거리 전진 패스나 상대 선수 근처의 고위험 패스와 같은 미세한 행동 평가에서 기존의 VAEP 및 EPV 모델을 능가하거나 동등하게 성능을 내며, 뛰어난 성능을 보인다.
• EDG 에이전트는 쉬운 봇 상대 시 평균 골 차이 8.14점, 중간 난이도 봇 상대 시 4.7점의 골 차이를 기록하여 시뮬레이션 환경 내에서 강력한 게임 내 의사결정 능력을 입증한다.
• 강한 그림자나 직사광선과 같은 도전적인 시각 조건에서도 투명도 보정 및 칼만 필터링을 통한 ReID 모델 덕분에 추적 모델이 높은 정확도를 유지한다.
• 이 프레임워크는 실시간 카메라 입력과 시뮬레이션 기반 훈련만을 사용하는 최초의 개방소스 종단 간 축구 선수 추적 및 평가 시스템이다.
• EDG 에이전트는 다양한 플레이 스타일과 팀 포메이션에 대해 잘 일반화되어 있으며, 특정 팀이나 리그에 대한 미세조정 없이도 일관된 성능을 보인다.