[논문 리뷰] Predicting Shot Making in Basketball using Convolutional Neural Networks Learnt from Adversarial Multiagent Trajectories.

Mark E. Harmon, Patrick Lucey외 1명|arXiv (Cornell University)|2016. 09. 15.

Human Pose and Action Recognition참고 문헌 11인용 수 6

한 줄 요약

이 논문은 다중 에이전트 궤적을 시간적 동역학을 코딩하는 페이딩을 사용한 다중 채널 이미지로 모델링함으로써 농구 슛 성공 여부를 예측하는 컨volution 신경망(CNN)을 제안한다. 적대적 궤적과 기울기 상승 분석을 통해 핵심 시각적 패턴을 규명하였으며, 하이브리드 FNN+CNN 아키텍처를 통해 26%의 오차율을 달성하여 수작업 특징 추출 방법을 능가하였다.

ABSTRACT

In this paper, we predict the likelihood of a player making a shot in basketball from multiagent trajectories. Previous approaches to similar problems center on hand-crafting features to capture domain specific knowledge. Although intuitive, recent work in deep learning has shown this approach is prone to missing important predictive features. To circumvent this issue, we present a convolutional neural network (CNN) approach where we initially represent the multiagent behavior as an image. To encode the adversarial nature of basketball, we use a multi-channel image which we then feed into a CNN. Additionally, to capture the temporal aspect of the trajectories we use fading. By using gradient ascent, we were able to discover what the CNN filters look for during training. Last, we find that a combined FNN+CNN is the best performing network with an error rate of 26%.

연구 동기 및 목표

• 수작업 특징 추출의 한계를 극복하여 농구 슛 결과 예측에 딥러닝을 활용하고자 한다.
• 다중 에이전트 궤적의 다중 채널 이미지 표현을 통해 농구의 적대적 동역학을 모델링하고자 한다.
• 이미지 표현에 페이딩을 도입하여 플레이어 이동의 시간적 변화를 통합하고자 한다.
• 기울기 상승을 통해 학습된 CNN 필터를 분석하여 예측 패턴을 해석하고자 한다.
• 기본 모델과의 성능 비교를 통해 하이브리드 FNN+CNN 아키텍처의 성능을 평가하고자 한다.

제안 방법

• 공간적 및 적대적 관계를 코딩하기 위해 다중 에이전트 궤적을 다중 채널 이미지로 표현한다.
• 이미지 표현에 페이딩을 적용하여 프레임 간 시간적 동역학을 유지한다.
• 이미지 임bedded 궤적을 기반으로 CNN을 훈련시켜 슛 성공 확률을 예측한다.
• 기울기 상승을 사용하여 훈련 중에 학습된 CNN 필터를 시각화하고 해석한다.
• 예측 성능 향상을 위해 피드포워드 신경망(FNN)과 CNN을 결합한다.
• 표준 딥러닝 훈련 절차를 사용하여 FNN+CNN 모델을 최적화한다.

실험 결과

연구 질문

• RQ1 수작업 특징에 의존하지 않고 다중 에이전트 궤적에서 CNN이 슛 성공 여부를 효과적으로 예측할 수 있는가?
• RQ2 다중 채널 이미지 표현을 통해 적대적 상호작용을 모델링하면 슛 예측 성능가 향상되는가?
• RQ3 이미지 표현에 페이딩을 도입하여 시간적 동역학을 통합할 경우 예측 정확도 향상 정도는 어느 정도인가?
• RQ4 CNN 필터가 슛 시도 이전에 관련된 핵심 공간적 구성 요소를 어떻게 학습하는가?
• RQ5 하이브리드 FNN+CNN 아키텍처는 단독 모델 대비 슛 예측 성능에서 뛰어나게 되는가?

주요 결과

• FNN+CNN 모델은 26%의 최저 오차율을 기록하여 테스트된 다른 아키텍처들을 능가하였다.
• 다중 채널 이미지의 사용이 플레이어 간 적대적 상호작용을 효과적으로 코딩하였다.
• 이미지 표현에 페이딩을 적용함으로써 시간적 동역학을 유지하고 모델의 일반화 성능을 향상시켰다.
• 기울기 상승 분석을 통해 CNN 필터가 슛 시도 이전의 핵심 공간적 구성 요소를 탐지하는 것을 확인하였다.
• 결과적으로 엔드 투 엔드 딥러닝이 이 작업에서 수작업 특징 추출 기법을 능가할 수 있음을 입증하였다.
• 학습된 필터의 시각화를 통해 의미 있는 전술적 패턴을 드러내어 모델의 해석 가능성은 향상되었다.