[논문 리뷰] Collection and Validation of Psychophysiological Data from Professional and Amateur Players: a Multimodal eSports Dataset

Anton Smerdov, Bo Zhou외 2명|arXiv (Cornell University)|2020. 11. 02.

Digital Games and Media인용 수 12

한 줄 요약

이 논문은 22판의 리그 오브 레전드 경기에서 10명의 전문 및 아마추어 플레이어로부터 수집한 다중모달 e스포츠 데이터셋을 제시한다. 이 데이터셋은 동기화된 심리생리학적 센서(예: 뇌파, 전도성 피부 반응, 시각 추적, 동작 감지, 심박수)와 게임 내 로그를 포함한다. 주요 발견으로는 전문 플레이어가 스트레스-집중도 상관관계가 낮고, 플레이 스타일이 더 독립적이라는 점이며, 기계학습 모델이 센서 데이터만으로도 기량 예측 정확도 0.856, 플레이어 재식별 정확도 0.521을 달성했다.

ABSTRACT

Proper training and analytics in eSports require accurately collected and annotated data. Most eSports research focuses exclusively on in-game data analysis, and there is a lack of prior work involving eSports athletes' psychophysiological data. In this paper, we present a dataset collected from professional and amateur teams in 22 matches in League of Legends video game with more than 40 hours of recordings. Recorded data include the players' physiological activity, e.g. movements, pulse, saccades, obtained from various sensors, self-reported aftermatch survey, and in-game data. An important feature of the dataset is simultaneous data collection from five players, which facilitates the analysis of sensor data on a team level. Upon the collection of dataset we carried out its validation. In particular, we demonstrate that stress and concentration levels for professional players are less correlated, meaning more independent playstyle. Also, we show that the absence of team communication does not affect the professional players as much as amateur ones. To investigate other possible use cases of the dataset, we have trained classical machine learning algorithms for skill prediction and player re-identification using 3-minute sessions of sensor data. Best models achieved 0.856 and 0.521 (0.10 for a chance level) accuracy scores on a validation set for skill prediction and player re-id problems, respectively. The dataset is available at https://github.com/smerdov/eSports Sensors Dataset.

연구 동기 및 목표

• 전문 및 아마추어 e스포츠 플레이어로부터 심리생리학적 신호의 종합적이고 다중모달 데이터셋을 수집하고 검증하는 것.
• 센서 데이터를 활용하여 전문가와 아마추어 플레이어 간 스트레스, 집중도, 팀 역학의 차이를 분석하는 것.
• 게임 내 성과 지표와 무관하게 센서 데이터만으로 기량 예측 및 개인 신원 식별의 가능성을 평가하는 것.
• 게임 메커니즘 변화에 강건한 모델을 훈련하기 위한 게임에 종속되지 않는 신뢰성 있는 데이터 소스를 제공하는 것.
• 성과 예측, 이질적 행동 탐지, 팀 성과 모델링 등 e스포츠 분석 분야의 새로운 연구를 가능하게 하는 것.

제안 방법

• 뇌파, 전도성 피부 반응, 시각 추적, 동작 감지, 환경 센서를 포함한 다중 센서 네트워크를 사용해 5명의 플레이어로부터 동시에 데이터를 수집하는 것.
• 센서 데이터를 게임 내 로그(예: 킬, 죽음, 스킬 사용) 및 경기 후 설문 조사와 동기화하는 것.
• 3분 간의 센서 세그먼트를 사용해 기존 기계학습 모델(SVM, 랜덤 포레스트 등)을 적용해 기량 예측 및 플레이어 재식별을 수행하는 것.
• 상관관계 분석 및 신호 처리 기법을 활용해 실전 대상자와 보드 대상자, 통신 기능 케이스/비케이스 조건에서의 팀 역학, 스트레스, 인지 부하를 평가하는 것.
• 일관성 검증 및 전문 팀과 아마추어 팀 간 생리적 패턴 비교를 통해 데이터 품질을 검증하는 것.
• GitHub를 통한 데이터셋 배포로, 매치 및 플레이어별로 체계적으로 정리된 구조를 갖추며 메타데이터 및 원본 센서 파일을 포함하는 것.

실험 결과

연구 질문

• RQ1 경쟁적 경기 중 전문가와 아마추어 e스포츠 플레이어 간 심리생리학적 반응(예: 스트레스, 집중도)은 어떻게 다를까?
• RQ2 팀 커뮤니케이션과 상대 유형(실제 대상자 대비 보드 대상자)은 생리적 동기화 및 팀 역학에 어느 정도 영향을 미치는가?
• RQ3 게임 내 성과 지표와 무관하게 센서 데이터만으로도 높은 정확도로 기량 수준을 예측할 수 있는가?
• RQ4 동공 지름, GSR, 얼굴 온도와 같은 생리적 신호는 게임 내 참여도와 인지 부하와 어떻게 상관관계가 있는가?
• RQ5 팀 기반 e스포츠 환경에서 다중모달 센서 데이터의 예측 능력은 플레이어 재식별에 얼마나 강력한가?

주요 결과

• 전문 플레이어는 스트레스 수준과 집중도 수준 간 상관관계가 아마추어 플레이어보다 유의미하게 낮아, 더 독립적이고 일관된 플레이 스타일을 보인다.
• 팀 커뮤니케이션이 없는 조건에서 아마추어 플레이어는 전문 플레이어보다 더 큰 영향을 받으며, 전문 플레이어는 커뮤니케이션 조건과 무관하게 안정된 생리적 상태를 유지한다.
• 실제 상대자와의 경기 중 플레이어 간 동공 지름이 더 높은 수준으로 동기화되며, 이는 더 높고 일치하는 인지 부하와 참여도를 나타낸다.
• 실전 경기 중 아마추어 플레이어 간 얼굴 피부 온도와 GSR 신호의 상관관계가 높아, 공통된 정서적 각성 상태를 반영한다.
• 기계학습 모델은 3분 간의 센서 세그먼트만으로도 기량 예측 정확도 0.856, 플레이어 재식별 정확도 0.521을 달성했으며, 이는 0.10의 우연 수준보다 유의미하게 높다.
• 이 데이터셋은 팀 역학 분석에 강력한 기반을 제공하며, 고압 조건에서 아마추리 팀에서 생리적 동기화가 더 두드러진다는 점을 드러낸다.