[논문 리뷰] Cracking the Black Box: Distilling Deep Sports Analytics

Xiangyu Sun, Jack Davis외 2명|arXiv (Cornell University)|2020. 06. 04.

Sports Analytics and Performance참고 문헌 17인용 수 4

한 줄 요약

이 논문은 깊이 강화 학습 모델을 해석 가능한 선형 모델 트리로 압축하는 모델 트리 모방 학습 기법을 제안한다. 이는 스포츠 분석에서 예측 정확도를 유지하면서도 투명하고 실행 가능한 통찰을 제공한다. 새로운 히우리스틱 알고리즘을 통해 대규모 데이터셋에 스케일링되며, 특성 기여도와 규칙 추출을 통해 핵심 게임 상태 규칙을 드러낸다.

ABSTRACT

This paper addresses the trade-off between Accuracy and Transparency for deep learning applied to sports analytics. Neural nets achieve great predictive accuracy through deep learning, and are popular in sports analytics. But it is hard to interpret a neural net model and harder still to extract actionable insights from the knowledge implicit in it. Therefore, we built a simple and transparent model that mimics the output of the original deep learning model and represents the learned knowledge in an explicit interpretable way. Our mimic model is a linear model tree, which combines a collection of linear models with a regression-tree structure. The tree version of a neural network achieves high fidelity, explains itself, and produces insights for expert stakeholders such as athletes and coaches. We propose and compare several scalable model tree learning heuristics to address the computational challenge from datasets with millions of data points.

연구 동기 및 목표

• 딥 러닝을 통한 스포츠 분석에서 정확도와 투명성의 상충 관계를 해결하기 위해 예측 성능를 유지하면서도 해석 가능한 모델을 만든다.
• 표준 도구가 실패하는 대규모 스포츠 데이터셋(예: 700만+ 데이터 포인트)에서 모델 트리를 학습하기 위한 확장 가능한 계산 방법을 개발한다.
• 딥 뉴럴 네트워크에서 실행 가능한 규칙 기반 통찰을 추출하여 코aches와 운동선수가 전략적 의사결정을 지원한다.
• 투명한 모델 트리를 활용해 깊이 강화 학습 모델의 오류를 진단하고, 사소한 상관관계(예: 이벤트 지속 시간과 Q-값 간의 비의미적 상관관계)를 폭 드러낸다.
• 게임 상태 변수의 변화를 반영하는 투명한 모델을 학습함으로써 반사적 분석(Counterfactual analysis)을 가능하게 한다.

제안 방법

• 아이스하키와 축구에서 스포츠 행동(예: 슛, 패assing)을 예측하기 위해 블랙박스 예측기로 깊이 강화 학습(DRL) 모델을 훈련시킨다.
• DRL 모델의 출력을 소프트 레이블로 사용하여 예측을 고정밀도로 모방하는 선형 모델 트리를 훈련시킨다.
• 대규모 데이터셋에서 확장 가능한 모델 트리 구축을 위해 반복적 세그먼테이션 회귀와 정렬 기반 임계값 선택이라는 새로운 히우리스틱 방법을 도입한다.
• 카운터패셜 분석 및 모델 일반화를 향상시키기 위해 소프트 레이블을 활용한 새로운 데이터 증강 기법을 적용한다.
• 게임 상태 변수가 결과에 미치는 영향을 설명하기 위해 특성 기여도와 조건부 if-then 규칙을 포함한 해석 가능한 규칙을 모델 트리에서 추출한다.
• 투명한 트리를 활용해 DRL 모델의 데이터 누출 및 모델 아티팩트(예: 이벤트 지속 시간과 Q-값 간의 비의미적 상관관계)를 탐지한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크의 예측을 해석 가능한 모델 트리가 성능 손실 없이 정확하게 모방할 수 있는가?
• RQ2 몇백만 개의 데이터 포인트를 포함하는 대규모 스포츠 데이터셋을 처리하기 위해 모델 트리 학습을 어떻게 스케일링할 수 있는가?
• RQ3 DRL 모델을 모방하도록 훈련된 모델 트리의 구조와 규칙에서 어떤 실행 가능한 전략적 통찰을 도출할 수 있는가?
• RQ4 투명한 모델 트리는 깊이 학습 모델 내에서 숨겨진 데이터 품질 문제(예: 비의미적 상관관계)를 드러낼 수 있는가?
• RQ5 공통적인 특성 상호작용을 식별함으로써 모델 트리는 다양한 스포츠 간 전이 학습을 얼마나 잘 지원할 수 있는가?

주요 결과

• 모델 트리 접근법은 아이스하키와 축구 데이터셋에서 원래의 딥 뉴럴 네트워크 출력과 매우 유사한 예측 정밀도를 달성했다.
• 반복적 세그먼테이션 회귀가 가장 빠른 히우리스틱 방법으로 나타나, 700만 개 이상의 데이터 포인트를 포함하는 데이터셋에서도 하루 이내에 모델 훈련을 완료할 수 있었다.
• 모델 트리는 해석 가능한 규칙을 성공적으로 추출하였으며, 예를 들어 골대에 가까운 퍼팅 거리와 팀의 볼 점유율이 슛 성공에 미치는 영향과 같은 도메인 전문 지식과 일치하는 통찰을 제공했다.
• 모델 트리의 투명성 덕분에 DRL 모델 내에서 데이터 누출을 탐지할 수 있었으며, 특히 이벤트 지속 시간과 Q-값 간의 비의미적 상관관계를 폭 드러내어 모델 개선에 기여했다.
• 전략적 통찰을 드러내었으며, 예를 들어 축구에서 슛 이전에 투트랙 패assing이 덜 효과적이라는 점과, 골대 근처에서 막힌 슛의 영향력이 현저히 떨어진다는 점을 규명했다.
• 명시적인 규칙 기반 추론을 통해 사용자가 '만약~라면' 시나리오를 탐색할 수 있도록 하여 반사적 분석을 지원함으로써 코aches와 운동선수의 의사결정을 향상시켰다.