[논문 리뷰] Evaluating NHL Goalies, Skaters, and Teams Using Weighted Shots

Brian Macdonald, Craig Lennon외 1명|arXiv (Cornell University)|2012. 05. 08.

Sports Analytics and Performance참고 문헌 3인용 수 5

한 줄 요약

이 논문은 NHL 경기에서 슈팅의 골 성공 확률을 추정하기 위해 거리, 각도, 슈팅 유형, 선수 피로도 등의 변수를 사용한 로지스틱 회귀 모델을 개발한다. 이 모델은 '가중 슈팅'—각 슈팅의 기대 골 확률에 따라 조정된 슈팅 수—를 계산하여 슈팅의 기대 골 수를 산정한다. 가중 슈팅은 성능 평가에 유용하며 정교한 지표를 제공하지만, 향후 성과를 예측하는 데 기존 통계보다 뛰어나다는 강력한 증거는 없으며, 따라서 기존 지표를 대체하기보다는 보완하는 데 적합하다고 결론을 내린다.

ABSTRACT

In this paper, we develop a logistic regression model to estimate the probability that a particular shot in an NHL game will result in a goal, and use the results to evaluate the performance of NHL skaters, goalies, and teams. We weight each shot based on the estimated probabilities obtained from our model, call this statistic "weighted shots", and use advanced statistics based on weighted shots as the basis of our evaluation. We also analyze whether advanced statistics based on weighted shots outperform traditional statistics as an indicator of future performance of skaters, goalies, and teams. In general, statistics based on weighted shots perform well, but not better than traditional statistics. We conclude that weighted shots should not be viewed as a replacement for those statistics, but can be used in conjunction with those statistics. Finally, we use weighted shots as the dependent variable in an adjusted plus-minus model. The results are estimates of each player's offensive and defensive contribution to his team's weighted shots during even strength, power play, and short handed situations, independent of the strength of his teammates, the strength of his opponents, and the zone in which his shifts begin.

연구 동기 및 목표

• 거리, 각도, 슈팅 유형, 경기 상황 등의 슈팅 특성 변수를 기반으로 골 성공 확률을 추정하는 슈팅 품질 모델을 개발하는 것.
• 기대 골 확률에 따라 조정된 '가중 슈팅'—각 슈팅의 기대 골 값에 따라 가중치를 적용한 슈팅 수—을 도입하여 스케이터, 골리, 팀의 성과 평가를 향상시키는 것.
• 가중 슈팅 기반의 고급 통계가 픍스터, 골리, 팀 수준에서 향후 성과를 예측하는 데 기존 지표보다 뛰어나다는지 평가하는 것.
• 가중 슈팅 수를 60분당 기준으로 조정한 플러스-마이너스 모델을 적용하여 동료 선수, 상대 팀, 스타트 존의 영향을 제거하고 개별 선수의 기여도를 분리하는 것.
• 기존 통계인 슈팅 수, 페닉스, 코르시와 비교하여 가중 슈팅 기반 지표의 신뢰성과 예측 능력을 평가하는 것.

제안 방법

• 거리, 각도, 슈팅 유형, 리바운드 여부, 아이스 타임, 피로 지표, 득점 차이, 빙상 위치 등의 슈팅 수준 데이터를 사용해 로지스틱 회귀 모델을 구축하는 것.
• 로지스틱 회귀 계수를 활용해 각 슈팅의 골 성공 확률을 계산한 후, 각 슈팅을 그 기대 골 값에 따라 가중치를 적용하는 것.
• 기대 골 수를 슈팅당 합산한 '가중 슈팅'을 정의하고, 이를 성과 평가를 위한 60분당 통계로 변환하는 것.
• 팀 수비의 영향을 제거하고 골리 성과를 평가하기 위해 실제 세이브 퍼센트에서 슈팅 품질 기반 기대 세이브 퍼센트를 뺀 '조정된 세이브 퍼센트'를 사용하는 것.
• 개별 선수 기여도를 추정하기 위해 60분당 가중 슈팅 수를 조정된 플러스-마이너스 모델의 결과 변수로 사용하며, 동료 및 상대 팀의 강도와 스타트 존의 영향을 통제하는 것.
• 예측 성능을 평가하기 위해 홀수 경기와 짝수 경기 간의 분할 신뢰도와 교차 검증을 실시하며, 향후 골과의 상관관계를 중심으로 분석하는 것.

실험 결과

연구 질문

• RQ1 거리, 각도, 슈팅 유형 등의 슈팅 수준 변수를 기반으로 한 로지스틱 회귀 모델이 NHL 경기에서 골 성공 확률을 정확하게 예측할 수 있는가?
• RQ2 가중 슈팅을 사용할 경우, 기존 지표와 비교해 NHL 스케이터, 골리, 팀의 고급 통계의 신뢰성과 예측 능력이 향상되는가?
• RQ3 슈팅 품질 기반의 조정된 세이브 퍼센트는 기존 세이브 퍼센트보다 미래 골리 성과 예측에 더 신뢰성 있거나 예측력이 강한가?
• RQ4 60분당 가중 슈팅 수는 코르시나 페닉스와 같은 기존 지표보다 팀의 공격 또는 수비 성공 여부를 더 잘 예측할 수 있는가?
• RQ5 60분당 가중 슈팅 수를 사용한 조정된 플러스-마이너스 모델은 팀의 강도와 스타트 존의 영향을 제거하고 개별 선수의 기여도를 분리할 수 있는가?

주요 결과

• 로지스틱 회귀 모델은 AUC(Receiver Operating Characteristic 곡선 아래 면적)가 0.764를 기록하여 슈팅 특성에 기반한 골 결과 예측 능력이 뛰어나다는 것을 나타낸다.
• 조정된 세이브 퍼센트는 기존 세이브 퍼센트에 비해 일관성과 향후 성과 예측 능력에서 약간의 향상이 있었지만, 그 성과는 미미했고 뚜렷한 우월성은 없었다.
• 60분당 가중 슈팅 수는 팀의 공격 또는 수비 성공 여부를 예측하는 데 기존 지표인 슈팅 수, 페닉스, 코르시보다 뛰어나지 않았다.
• 가중 슈팅 또는 조정된 슈팅 성공률이 향후 팀 성과를 예측하는 데 비조정 통계보다 뛰어나다는 강력한 증거는 없었다.
• 가중 슈팅 수를 사용한 조정된 플러스-마이너스 모델은 동료 팀의 강도, 상대 품질, 스타트 존의 영향을 제거하고 팀의 가중 슈팅 생산에 기여한 개별 선수의 기여도를 성공적으로 분리했다.
• 빙상 위치의 편향과 경기 상태 영향(예: 득점 차이)이 슈팅 결과에 영향을 주는 것으로 확인되어, 향후 무작위 효과나 상황별 모델을 통해 모델 개선이 가능할 것으로 보인다.