[논문 리뷰] Collection and Validation of Psycophysiological Data from Professional and Amateur Players: a Multimodal eSports Dataset.

Anton Smerdov, Bo Zhou외 2명|arXiv (Cornell University)|2020. 11. 02.

Artificial Intelligence in Games참고 문헌 52인용 수 4

한 줄 요약

이 논문은 프로 및 아마추어 플레이어가 참가한 22판의 리그 오브 레전드 경기에서 수집한 다중모달 e스포츠 데이터셋을 소개한다. 이 데이터셋은 동기화된 생리적 신호(예: 맥박, 안구운동, 움직임), 게임 내 데이터, 그리고 경기 후 설문조사를 포함한다. 이 데이터셋을 통해 팀 수준의 분석이 가능하며, 검증 결과 전문가 플레이어는 스트레스와 집중력 간 상관관계가 낮은 것으로 나타났다. 기계학습 모델은 3분간의 센서 세션을 사용해 기량 예측 정확도 0.856, 플레이어 재식별 정확도 0.521을 달성하였다.

ABSTRACT

Proper training and analytics in eSports require accurately collected and annotated data. Most eSports research focuses exclusively on in-game data analysis, and there is a lack of prior work involving eSports athletes' psychophysiological data. In this paper, we present a dataset collected from professional and amateur teams in 22 matches in League of Legends video game with more than 40 hours of recordings. Recorded data include the players' physiological activity, e.g. movements, pulse, saccades, obtained from various sensors, self-reported aftermatch survey, and in-game data. An important feature of the dataset is simultaneous data collection from five players, which facilitates the analysis of sensor data on a team level. Upon the collection of dataset we carried out its validation. In particular, we demonstrate that stress and concentration levels for professional players are less correlated, meaning more independent playstyle. Also, we show that the absence of team communication does not affect the professional players as much as amateur ones. To investigate other possible use cases of the dataset, we have trained classical machine learning algorithms for skill prediction and player re-identification using 3-minute sessions of sensor data. Best models achieved 0.856 and 0.521 (0.10 for a chance level) accuracy scores on a validation set for skill prediction and player re-id problems, respectively. The dataset is available at this https URL Sensors Dataset.

연구 동기 및 목표

• 경쟁적인 경기 중 프로 및 아마추어 e스포츠 플레이어로부터 동기화된 심리생리적 데이터를 수집하기 위해.
• 전문가 및 아마추어 플레이어 간 스트레스 및 집중 수준의 차이를 분석하여 데이터셋의 타당성을 검증하기 위해.
• 심리생리적 데이터 및 행동 데이터를 활용해 팀 커뮤니케이션의 성과에 미치는 영향을 탐색하기 위해.
• 기초 기계학습 응용 분야를 통해 데이터셋의 유용성을 입증하기 위해.
• 향후 e스포츠 분석 및 심리생리학 연구를 위한 공개 자원을 제공하기 위해.

제안 방법

• 22판의 경기 동안 5명의 플레이어로부터 웨어러블 센서를 사용해 맥박, 안구운동, 움직임 등 생리적 신호를 동시에 측정하여 데이터를 수집하였다.
• 게임 내 텔레메트리 데이터와 플레이어가 기록한 경기 후 설문조사를 통합하여 행동 및 주관적 인식 정보를 보완하였다.
• 3분간의 센서 데이터 세그먼트를 사용해 기초 기계학습 모델(SVM, 랜덤 포레스트 등)을 적용하여 플레이어 기량 예측 및 플레이어 재식별을 수행하였다.
• 전문가 및 아마추어 플레이어 간 스트레스 및 집중 수준 간 상관관계 분석을 포함한 생리적 패턴의 통계적 검증을 수행하였다.
• 모델 성능 평가를 위해 데이터셋에 교차검증을 적용하였으며, 비교를 위해 우연의 수준 기준을 설정하였다.
• 재현 가능성 및 향후 연구 지원을 위해 전용 레포지터리에서 데이터셋을 공개하였다.

실험 결과

연구 질문

• RQ1 경쟁적인 환경에서 전문가 플레이어와 아마추어 플레이어 간 스트레스 및 집중 수준의 차이는 어떠한가?
• RQ2 팀 커뮤니케이션의 부재가 전문가 플레이어와 아마추어 플레이어 모두에게 스트레스와 성과에 미치는 영향은 어느 정도인가?
• RQ3 단 3분간의 게임 플레이 세션 동안 수집된 심리생리적 데이터로 플레이어의 기량 수준을 정확하게 예측할 수 있는가?
• RQ4 짧은 게임 플레이 세그먼트 동안의 생리적 센서 데이터만으로 개별 플레이어를 신뢰성 있게 재식별할 수 있는가?
• RQ5 다중 플레이어 e스포츠 경기에서 동기화된 생리적 데이터를 기반으로 한 팀 수준의 분석으로부터 어떤 통찰을 도출할 수 있는가?

주요 결과

• 전문가 플레이어는 아마추어 플레이어보다 스트레스와 집중 수준 간 상관관계가 낮아, 더 독립적이고 안정적인 플레이 스타일을 보인다.
• 팀 커뮤니케이션의 부재가 전문가 플레이어에게는 아마추어 플레이어보다 훨씬 덜 부정적인 영향을 미치며, 커뮤니케이션 장애에 더 강건한 것으로 나타났다.
• 기계학습 모델은 3분간의 센서 데이터 세그먼트를 사용해 기량 예측 정확도 0.856을 달성하였다.
• 플레이어 재식별 모델은 정확도 0.521을 기록하여 우연의 수준 0.10을 크게 초월하여 개인의 생리적 서명이 고유함을 입증하였다.
• 리그 오브 레전드 경기에서 5개 포지션의 모든 플레이어에 걸쳐 동기화된 다중 플레이어 데이터 수집 덕분에 이 데이터셋은 강력한 팀 수준의 분석을 가능하게 한다.
• 이 데이터셋은 제공된 URL을 통해 공개되어 있으며, e스포츠의 심리생리학 분석 분야의 재현 가능성 및 향후 연구를 지원한다.