[論文レビュー] "Why Would I Trust Your Numbers?" On the Explainability of Expected Values in Soccer

Jan Van Haaren|arXiv (Cornell University)|May 27, 2021

Sports Analytics and Performance参考文献 14被引用数 8

ひとこと要約

本論文は、サッカーにおけるゴール予測確率（xG）を推定する解釈可能な一般化加法モデルを提案する。シュートの位置を16の戦術的に意味のあるフィールドゾーンに曖昧割り当てすることで、機械学習に不慣れな実務家にとっても解釈可能でありながら、モデルの精度を損なわない。従来のモデルが抽象的な空間的特徴を使用するのに対し、本手法はサッカーで馴染みのある概念を活用することで、パフォーマンス指標の信頼性と透明性を向上させる。

ABSTRACT

In recent years, many different approaches have been proposed to quantify the performances of soccer players. Since player performances are challenging to quantify directly due to the low-scoring nature of soccer, most approaches estimate the expected impact of the players' on-the-ball actions on the scoreline. While effective, these approaches are yet to be widely embraced by soccer practitioners. The soccer analytics community has primarily focused on improving the accuracy of the models, while the explainability of the produced metrics is often much more important to practitioners. To help bridge the gap between scientists and practitioners, we introduce an explainable Generalized Additive Model that estimates the expected value for shots. Unlike existing models, our model leverages features corresponding to widespread soccer concepts. To this end, we represent the locations of shots by fuzzily assigning the shots to designated zones on the pitch that practitioners are familiar with. Our experimental evaluation shows that our model is as accurate as existing models, while being easier to explain to soccer practitioners.

研究の動機と目的

• 機械学習に不慣れな実務家による期待値指標の採用が限定的であるのを是正するため、その解釈可能性を向上させること。
• サッカー実務家とデータサイエンティストの間の溝を埋めるために、直感的で戦術的に関連性のある特徴を用いてシュート位置を表現すること。
• 手動で定義された、サッカー的に意味のある特徴の相互作用を用いることで、高い予測精度を維持しながら解釈可能なモデルを構築すること。
• フィールドゾーンに基づく空間的表現が、パフォーマンスに悪影響を及げないままモデルの解釈可能性を向上させるかどうかを評価すること。

提案手法

• 各特徴の寄与度が加法的で解釈可能であるよう、解釈可能なブースティングマシン（EBM）を用いる。
• シュート位置は、既存の戦術的フレームワークを基にした16のフィールドゾーンへの曖昧割り当てで符号化され、ゴールへの距離と角度の特徴が置き換えられる。
• モデルが任意の相互作用を学習するのではなく、サッカー固有の論理に基づいて手動で定義された特徴の相互作用（例：体の部位とゾーンの相互作用）を採用する。
• 試合イベントデータを用いてモデルを学習し、シュートがゴールに結びつく確率を予測する。解釈性は、局所的なSHAP解釈によって支援される。
• VAEP や Decroos & Davis (2019) などの既存のxGモデルと同等の予測精度を維持することで、モデルの性能を保った。

実験結果

リサーチクエスチョン

• RQ1 サッカー実務家に馴染みのあるフィールドゾーンを用いたモデルが、精度を落とさずに期待ゴール（xG）の解釈可能性を向上させられるか？
• RQ2 自動で学習された相互作用と比較して、手動で定義されたサッカー的意味のある特徴の相互作用は、モデルの解釈性にどのように影響するか？
• RQ3 抽象的な空間的特徴（例：ゴールへの距離や角度）をゾーンベースの表現に置き換えることで、技術的素養のない実務家の信頼感はどの程度向上するか？
• RQ4 提案された位置符号化は、さまざまな種類のシュートや選手のポジションにおいても良好に機能するか？

主な発見

• 提案されたモデルは、勾配ブースティング決定木に基づく既存の最先端xGモデルと同等の予測性能を達成している。
• 16の戦術的に意味のあるフィールドゾーンの使用は、サッカー実務家にとってのシュート価値予測の解釈可能性を顕著に向上させた。
• サッカーのコンセプトに基づいて手動で定義された特徴の相互作用は、自動で学習された相互作用よりも直感的で信頼性の高い説明をもたらした。
• 局所的なSHAP解釈は、シュートゾーン、体の部位、ペナルティースポットへの近接度といった特徴が最終的なxG推定にどのように寄与しているかを明確に示した。
• モデルの加法的構造により、実務家は各要因の寄与度（例：ゾーン6からのヘッドショットはxGを上昇させ、サイドからの長距離シュートはxGを低下させる）を理解できるようになった。