[논문 리뷰] Analysis of player's in-game performance vs rating: Case study of Heroes of Newerth

Neven Čaplar, Mirko Sužnjević외 1명|arXiv (Cornell University)|2013. 05. 22.

Peer-to-Peer Network Technologies참고 문헌 10인용 수 3

한 줄 요약

이 연구는 Heroes of Newerth (HoN)의 매치메이킹 레이팅(MMR) 시스템을 분석하여, APM, 킬, 죽음, 어시스트, 디파이언스, 계정 연수 등의 게임 내 성과 지표와 할당된 플레이어 레이팅 간의 상관관계를 평가한다. 338,681명의 플레이어로 구성된 데이터셋을 사용한 결과, MMR는 일반적으로 플레이어의 기량을 반영하지만, 의도적인 MMR 하향 조작 및 기량 배치가 느린 등의 취약점이 존재하여 '스머프'나 저기량 플레이어가 부당하게 높은 랭킹을 확보할 수 있음을 밝혀냈다.

ABSTRACT

We evaluate the rating system of "Heroes of Newerth" (HoN), a multiplayer online action role-playing game, by using statistical analysis and comparison of a player's in-game performance metrics and the player rating assigned by the rating system. The datasets for the analysis have been extracted from the web sites that record the players' ratings and a number of empirical metrics. Results suggest that the HoN's Matchmaking rating algorithm, while generally capturing the skill level of the player well, also has weaknesses, which have been exploited by players to achieve a higher placement on the ranking ladder than deserved by actual skill. In addition, we also illustrate the effects of the choice of the business model (from pay-to-play to free-to-play) on player population.

연구 동기 및 목표

• HoN의 매치메이킹 레이팅(MMR) 시스템이 플레이어의 진정한 기량 수준을 얼마나 정확히 반영하는지 평가하는 것.
• 플레이어의 실제 게임 내 성과에 비해 높은 랭킹을 확보할 수 있는 잠재적 악용 행동을 특정하는 것.
• 게임 비즈니스 모델(유료 플레이 대 비공유 플레이)이 플레이어 인구 분포와 레이팅 진전에 미치는 영향을 분석하는 것.
• 성과 지표와 계정 연수를 기반으로 신규 플레이어의 MMR 배치 속도와 일관성을 평가하는 것.
• 플레이어 행동 패턴과 그들이 레이팅 시스템의 신뢰성에 미치는 영향을 이해하는 데 기여하는 것.

제안 방법

• 공개된 HoN 플레이어 데이터베이스에서 MMR, APM, 킬/데스 비율, 어시스트, 디파이언스, 계정 연수 등의 성과 데이터를 수집하였다.
• 대규모 플레이어 샘플을 대상으로 통계적 상관관계 분석을 수행하여 게임 내 지표(예: APM, 킬, 디파이언스)와 MMR 간의 관계를 비교하였다.
• 계정 연수 및 게임 횟수와 같은 변수와 MMR 간의 관계를 시각화하기 위해 히트맵과 산점도를 활용하였다.
• 표본 일관성 검증을 위해 3,000명 이상의 랜덤 서브셋을 여러 차례 생성하고 APM-MMR 상관관계를 재평가하였다.
• 승/패 및 킬/데스 비율의 이질적 패턴을 통해 의도적인 MMR 조작 가능성을 탐지하기 위해 행동 이상 현상(Anomalous behavior)을 식별하였다.
• 역사적 데이터 분석을 통해 유료 플레이에서 비공유 플레이 모델로의 전환과 플레이어 인구 및 레이팅 분포 변화 간의 상관관계를 분석하였다.

실험 결과

연구 질문

• RQ1 HoN의 MMR 시스템이 플레이어의 실제 게임 내 성과를 어느 정도 정확히 반영하는가?
• RQ2 APM, 디파이언스, 킬 등 어떤 게임 내 지표가 MMR와 가장 강한 상관관계를 보이며, 이는 기량 등급별로 어떻게 다를까?
• RQ3 의도적인 MMR 하향 조작이나 승리 공유와 같은 악용 가능한 행동이 존재하는가? 이러한 행동을 통해 기량 기반 배치를 우회할 수 있는가?
• RQ4 2011년 7월에 이루어진 유료 플레이에서 비공유 플레이 모델로의 전환은 시간이 지남에 따라 플레이어 분포와 레이팅 진전에 어떤 영향을 미쳤는가?
• RQ5 MMR 시스템은 신규 플레이어를 얼마나 빨리 올바른 기량 등급으로 배치하는가? 이 과정에 영향을 주는 요소는 무엇인가?

주요 결과

• MMR 시스템은 일반적으로 게임 내 성과와 잘 상관되며, 특히 APM, 킬, 디파이언스와 같은 지표는 MMR가 높아질수록 강한 정향을 보임.
• 높은 등급의 플레이어들은 디파이언스에서 뚜렷한 우월성을 보이며, 거의 모든 상위 등급 플레이어가 크립을 방어(디파이언스)하는 것으로 나타나, 이 메커니즘이 숙련된 플레이의 핵심 구분 요소임을 시사함.
• 상당수의 플레이어가 이질적인 행동 패tern을 보이며, 낮은 킬/데스 비율과 높은 승/패 비율을 동시에 기록함으로써 의도적인 MMR 조작 또는 팀 기반 악용이 가능함을 시사함.
• 2011년 7월에 이루어진 유료 플레이에서 비공유 플레이 모델로의 전환은 신규 계정 수의 급격한 증가를 유도하였으며, 이는 데이터 수집 시점 약 400일 전에 계정 연수 분포에 뚜렷한 급증으로 나타남.
• 매우 최근 계정(<50일)을 가진 플레이어는 거의 고MMR 등급에 포함되지 않아, 빠른 MMR 인플레이션이 드문 일어나며 시스템이 플레이어를 정확한 기량 등급으로 빠르게 배치하지 못함을 시사함.
• 표본 일관성 테스트 결과, 여러 랜덤 서브셋 간 변동이 미미하여 관찰된 상관관계가 샘플링 편향의 산물이 아니며 안정적임을 확인함.