[논문 리뷰] A Comparison of Methods for Player Clustering via Behavioral Telemetry

Anders Drachen, Christian Thurau외 2명|arXiv (Cornell University)|2014. 07. 15.

Sports Analytics and Performance참고 문헌 28인용 수 50

한 줄 요약

이 논문은 5년간의 월드 오브 워크래프트 플레이 타임 및 레벨업 속도 태블로 데이터를 기반으로, 비지도 군집화 기법인 k-means, c-means, NMF, PCA, 그리고 아키타입 분석(이하 AA)을 평가한다. AA는 실제 게임 내 행동과 부합하는 해석 가능한 행동 프로파일을 생성함으로써 다른 방법들보다 뛰어난 성능을 보였다. 예를 들어, 확장 팩 출시 이후 급속도로 레벨을 올리는 행동과 같은 실제 게임 내 행동을 잘 반영하였으며, 반면 PCA와 NMF는 플레이어가 레벨을 잃는다는 등 비현실적인 결과를 도출하였다.

ABSTRACT

The analysis of user behavior in digital games has been aided by the introduction of user telemetry in game development, which provides unprecedented access to quantitative data on user behavior from the installed game clients of the entire population of players. Player behavior telemetry datasets can be exceptionally complex, with features recorded for a varying population of users over a temporal segment that can reach years in duration. Categorization of behaviors, whether through descriptive methods (e.g. segmention) or unsupervised/supervised learning techniques, is valuable for finding patterns in the behavioral data, and developing profiles that are actionable to game developers. There are numerous methods for unsupervised clustering of user behavior, e.g. k-means/c-means, Non-negative Matrix Factorization, or Principal Component Analysis. Although all yield behavior categorizations, interpretation of the resulting categories in terms of actual play behavior can be difficult if not impossible. In this paper, a range of unsupervised techniques are applied together with Archetypal Analysis to develop behavioral clusters from playtime data of 70,014 World of Warcraft players, covering a five year interval. The techniques are evaluated with respect to their ability to develop actionable behavioral profiles from the dataset.

연구 동기 및 목표

• 대규모 게임 태블로 데이터에서 행동 프로파일을 생성하는 데 있어 비지도 군집 기법의 효과성을 평가하는 것.
• 특히, 군집화 방법이 직관적이거나 비현실적인 행동 프로파일을 도출할 때 발생하는 해석 가능성 문제를 다루는 것.
• 기존의 k-means, NMF, PCA와 같은 기법들과 비교하여, 단순체적 볼륨 최대화(SIVM)를 통한 아키타입 분석(AA)이 더 해석 가능하고 행동적으로 타당한 군집을 생성하는지 평가하는 것.
• 게임 디자인 및 수익 모델 전략에 적합한 하드 군집 할당과 소프트 군집 할당 간의 차이를 고려하여, 플레이어가 군집에 어떻게 분포되어 있는지 평가하는 것.

제안 방법

• 70,014명의 월드 오브 워크래프트 플레이어가 5년간 기록한 플레이 타임 및 레벨업 속도 데이터에 k-means, c-means, NMF, PCA, 아키타입 분석(AA)을 적용한다.
• 데이터 분포의 볼록 껍질 상에 위치한 극단적이고 아키타입적인 플레이어 행동을 나타내는 기저 벡터를 산출하기 위해 단순체적 볼륨 최대화(SIVM)를 사용한다.
• 기저 벡터가 실제 가능하고 합법적인 게임 내 행동(예: 확장 팩 출시 시 즉각적인 레벨업, 레벨 감소 불가)과 일치하는지 확인함으로써 해석 가능성 여부를 평가한다.
• 각 플레이어를 가장 가까운 기저 벡터나 중심점에 할당함으로써 하드 군집 할당을 수행하여 정량적 프로파일링을 가능하게 한다.
• 시각화 도구(예: 그림 4)를 활용하여 다양한 방법 간 군집 분포를 비교하고 군집 구성의 구조적 차이를 분석한다.
• 확장 팩 출시와 같은 알려진 게임 이벤트와 아키타입 프로파일 간 상관관계를 분석함으로써 행동 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 어느 군집화 방법이 실제 게임 메커니즘과 플레이어 행동에 부합하는 가장 해석 가능한 행동 프로파일을 생성하는가?
• RQ2 k-means, NMF, PCA, AA는 중심 경향성 외에 극단적 또는 아키타입적인 플레이어 행동을 얼마나 잘 표현할 수 있는가?
• RQ3 PCA와 NMF는 월드 오브 워크래프트와 같은 게임에서 불가능한 행동(예: 캐릭터 레벨 감소)을 암시하는 기저 벡터를 얼마나 많이 생성하는가?
• RQ4 하드 할당(k-means)과 소프트 할당(NMF, PCA, AA) 방법 간 플레이어가 행동 군집에 어떻게 분포되어 있는지의 차이는 어떠한가?
• RQ5 SIVM를 통한 아키타입 분석(AA)은 게임 개발자에게 실용적이고 타당하며 명확한 행동 프로파일을 생성할 수 있는가?

주요 결과

• 아키타입 분석(AA)은 확장 팩 출시 후 급속도로 레벨을 올리는 것과 같은 실제로 가능한 플레이어 행동을 반영한 기저 벡터를 생성하였지만, PCA와 NMF는 플레이어가 레벨을 잃을 수 있다는 비현실적인 프로파일을 도출하였다.
• k-means 중심점은 해석 가능했지만, 전체적으로 형태가 매우 유사하여 서로 다른 행동 유형을 구분하는 데 한계가 있었다.
• AA 기저 벡터는 k-means 중심점보다 훨씬 더 다양하고 해석 가능했으며, 더 명확한 행동 레이블링과 게임 디자인 인사이트를 제공하였다.
• 플레이어의 군집 분포는 방법에 따라 크게 달라졌다: AA와 PCA는 세 개의 큰 군집을 보였고, k-means와 NMF는 네 개의 큰 군집과 네 개의 작은 군집을 보였다.
• 하드 군집 할당을 완전히 지원한 것은 오직 k-means 뿐이었으며, 이는 각 행동 유형 별 플레이어 수를 정확하게 수량화할 수 있게 하였다. 나머지 방법들은 근접한 기저 벡터에 할당하는 근사 기법이 필요했다.
• AA는 뛰어난 해석 가능성과 행동 타당성을 입증하여, 게임 분석 분야에서 실용적인 플레이어 프로파일을 생성하는 데 유망한 방법으로 평가된다.