[논문 리뷰] Opponent Indifference in Rating Systems: A Theoretical Case for Sonas

Bodwin, Greg, Zhang, Forest|arXiv (Cornell University)|2017. 02. 21.

Artificial Intelligence in Games참고 문헌 18인용 수 28

한 줄 요약

이 논문은 예측 능력을 평가함으로써 MOBA 게임에서 플레이어 기술을 분해하기 위한 모델 기반 접근법을 제안한다. 세 구성요소인 플레이어 기본 기술, 챔피언 기본 기술, 챔피언 특화 플레이어 기술을 대상으로 한다. 리그 오브 레전드와 디비전 오브 어웨이크닝 2 데이터를 사용한 통계 모델 분석 결과, LoL은 세 기술 구성요소 모두에 의존하는 반면, DOTA2는 주로 챔피언 기본 기술에 의해 이끄는 것으로 나타나 두 게임 간 근본적인 디자인 차이를 드러낸다.

ABSTRACT

In competitive games, it is common to assign each player a real number rating signifying their skill level. A rating system is a procedure by which player ratings are adjusted upwards each time they win, or downwards each time they lose. Many matchmaking systems give players some control over their opponent’s rating; for example, a player might be able to selectively initiate games against opponents whose ratings are publicly visible, or abort a game without penalty before it begins but after glimpsing their opponent’s rating. It is natural to ask whether one can design a rating system that does not incentivize a rating-maximizing player to act strategically, seeking games against opponents of one rating over another. We show the following: - The full version of this "opponent indifference" property is unfortunately too strong to be feasible. Although it is satisfied by some rating systems, these systems lack certain desirable expressiveness properties, suggesting that they are not suitable to capture most games of interest. - However, there is a natural relaxation, roughly requiring indifference between any two opponents who are both "reasonably evenly matched" with the choosing player. We prove that this relaxed variant of opponent indifference, which we call P opponent indifference, is viable. In fact, a certain strong version of P opponent indifference precisely characterizes the rating system Sonas, which was originally proposed for its empirical predictive accuracy on the outcomes of high-level chess games.

연구 동기 및 목표

• 리그 오브 레전드와 디비전 오브 어웨이크닝 2와 같은 팀 기반 MOBA 게임에서 플레이어 기술의 근본적 구성요소를 이해하기 위해.
• 플레이어 기본 기술, 챔피언 기본 기술, 챔피언 특화 플레이어 기술이 각각 승패 결과에 독립적으로 기여하는지 조사하기 위해.
• 게임 결과에 대한 다양한 기술 구성요소의 상대적 영향을 정량화하는 데 모델 기반 방법을 개발하고 검증하기 위해.
• 리그 오브 레전드와 디비전 오브 어웨이크닝 2 간의 게임 디자인 차이가 기술 구성과 플레이어 성과에 어떻게 영향을 미치는지 통찰을 제공하기 위해.
• 게임 및 컬러싱 환경에서 공정한 매치메이킹, 허위 플레이 감지, 효과적인 팀 편성에 기여하기 위해.

제안 방법

• 리그 오브 레전드와 디비전 오브 어웨이크닝 2의 공개 데이터셋에서 게임 결과 통계를 수집한다.
• 플레이어 기본 기술, 챔피언 기본 기술, 챔피언 특화 플레이어 기술을 조합하여 다양한 기술 구조 가설을 수립한다.
• 모델 성능 평가를 위해 로지스틱 회귀(LR), TrueSkill, 기준 모델(BL-MC) 등의 예측 모델을 활용한다.
• 테스트 정확도와 통계적 유의성 검정(예: 대응 t-검정)을 사용하여 각 기술 구성요소의 누적 기여도를 비교한다.
• 데이터 품질 문제, 특히 DOTA2에서의 영향을 테스트하기 위해 익명화 실험을 실시한다.
• 모델 비교를 통해 승패 결과 예측에 통계적으로 유의미한 예측 변수가 되는 기술 구성요소를 추론한다.

실험 결과

연구 질문

• RQ1 MOBA 게임에서 승패 결과에 가장 크게 기여하는 기술 구성요소는 플레이어 기본 기술, 챔피언 기본 기술, 챔피언 특화 기술 중 무엇인가?
• RQ2 리그 오브 레전드와 디비전 오브 어웨이크닝 2 간에 이러한 기술 구성요소의 상대적 기여도는 어떻게 다를까?
• RQ3 매치메이킹 시스템이나 데이터 품질(예: 익명성)은 플레이어 기본 기술의 탐지 가능성에 어떤 영향을 미치는가?
• RQ4 기본 모델을 초월해 기술 분해 모델이 승패 결과 예측 성능을 향상시킬 수 있는가?
• RQ5 리그 오브 레전드와 디비전 오브 어웨이크닝 2 간의 게임 디자인 구조적 차이가 특정 기술 구성요소의 두드러짐에 어떻게 영향을 미치는가?

주요 결과

• 리그 오브 레전드에서는 플레이어 기본 기술이 승패 결과 예측에 유의미하게 기여하며, LR-P는 기준 모델 BL-MC보다 테스트 정확도가 3.51% 높다.
• LoL에서 챔피언 특화 플레이어 기술은 예측 정확도를 추가로 향상시키며, LR-P-C-PC는 모든 모델 중에서 가장 높은 테스트 정확도를 기록한다.
• DOTA2에서는 플레이어 기본 기술이 기준 모델에 비해 유의미한 향상이 없으며, LR-P의 정확도는 BL-MC와 거의 동일하여 기여도가 미미함을 시사한다.
• DOTA2에서 챔피언 특화 기술 역시 유의미한 영향을 미치지 못하며, LR-P-C에 추가했을 때 정확도가 0.13% 뿐 향상되고 통계적으로 유의미하지 않다.
• DOTA2에서 챔피언 기본 기술이 주요 요소이며, LR-C는 LoL의 경우보다 4% 이상 높은 테스트 정확도를 기록하여 통계적 설명을 초월하는 격차를 보인다.
• 익명화 실험 결과, DOTA2에서 플레이어 기본 기술 탐지 불가능성이 데이터 품질 문제 때문이 아니라는 점이 확인되었으며, LoL에서도 유사한 익명화 처리를 해도 기술 구성요소 추가 시 유의미한 향상이 나타났다.