[논문 리뷰] Leaderboard Effects on Player Performance in a Citizen Science Game

Mads Kock Pedersen, Nanna Ravn Rasmussen외 2명|arXiv (Cornell University)|2017. 07. 12.

Educational Games and GamificationPsychology참고 문헌 3인용 수 17

한 줄 요약

이 연구는 시민 과학 게임 큐브리틱 모브에서 다양한 랭킹표 디자인—순위 없음, 전체 기간 상위 5명, 개인화된 무한 랭킹표—이 플레이어 성과에 미치는 영향을 조사한다. 고성수의 런칭 단계 동안 4,500명 이상의 플레이어 데이터를 활용한 결과, 랭킹표를 제거하거나 개인화된 순위를 사용하는 것이 성과를 떨어뜨리지 않았고, 때로는 기존의 상위 5명 랭킹표를 뛰어넘는 결과를 보였다. 이는 게임화 시스템에서 랭킹표가 항상 참여도와 성과를 향상시킨다는 가정을 도전하는 바이다.

ABSTRACT

Quantum Moves is a citizen science game that investigates the ability of humans to solve complex physics challenges that are intractable for computers. During the launch of Quantum Moves in April 2016 the game's leaderboard function broke down resulting in a "no leaderboard" game experience for some players for a couple of days (though their scores were still displayed). The subsequent quick fix of an all-time Top 5 leaderboard, and the following long-term implementation of a personalized relative-position (infinite) leaderboard provided us with a unique opportunity to compare and investigate the effect of different leaderboard implementations on player performance in a points-driven citizen science game. All three conditions were live sequentially during the game's initial influx of more than 150.000 players that stemmed from global press attention on Quantum Moves due the publication of a Nature paper about the use of Quantum Moves in solving a specific quantum physics problem. Thus, it has been possible to compare the three conditions and their influence on the performance (defined as a player's quality of game play related to a high-score) of over 4500 new players. These 4500 odd players in our three leaderboard-conditions have a similar demographic background based upon the time-window over which the implementations occurred and controlled against Player ID tags. Our results placed Condition 1 experience over condition 3 and in some cases even over condition 2 which goes against the general assumption that leaderboards enhance gameplay and its subsequent overuse as a an oft-relied upon element that designers slap onto a game to enhance said appeal. Our study thus questions the use of leaderboards as general performance enhancers in gamification contexts and brings some empirical rigor to an often under-reported but overused phenomenon.

연구 동기 및 목표

• 시민 과학 게임에서 다양한 랭킹표 구현 방식이 플레이어 성과에 미치는 영향을 조사하는 것.
• 랭킹표가 게임화된 과학 작업에서 높은 수준의 게임 플레이나 지속적인 참여도를 향상시키는지 평가하는 것.
• 150,000명 이상의 플레이어가 참여한 고성수 런칭 단계 동안 랭킹표 디자인이 성과에 미치는 영향을 평가하는 것.
• 게임화에서 랭킹표의 성과 향상 역할에 대한 일반적인 가정을 뒷받침하는 경험적 증거를 제공하는 것.
• 세 가지 다른 랭킹표 조건—랭킹표 없음, 전체 기간 상위 5명, 개인화된 상대 순위 랭킹표—를 비교하는 것.

제안 방법

• 연구는 큐브리틱 모브의 런칭 기간 동안 발생한 자연 실험을 활용하여, 랭킹표 기능 일시 정지로 인해 '랭킹표 없음' 조건이 발생하도록 하였다.
• 연구진은 세 가지 순차적인 랭킹표 조건을 비교하였다: (1) 랭킹표 없음, (2) 전체 기간 상위 5명 랭킹표, (3) 개인화된 무한 랭킹표.
• 성과는 플레이어 점수로 측정되었으며, 이는 양자 물리학 문제 해결의 게임플레의 질을 반영한다.
• 플레이어의 인구통계학적 특성과 입국 시간을 고려하기 위해 플레이어 ID 태그를 사용하여 각 조건 간에 비교 가능한 그룹을 확보하였다.
• 연구는 세 가지 랭킹표 단계 동안 참여한 4,500명 이상의 신규 플레이어로 구성된 대규모 데이터셋을 사용하였다.
• 세 조건 간의 성과 결과 차이를 평가하기 위해 통계적 비교를 실시하였다.

실험 결과

연구 질문

• RQ1 랭킹표가 없는 것이 시민 과학 게임에서 플레이어 성과에 부정적인 영향을 미치는가?
• RQ2 표준화된 상위 5명 랭킹표와 개인화된 무한 랭킹표는 게임 플레의 질에 어떤 영향을 미치는가?
• RQ3 랭킹표가 존재할 경우, 일반적으로 게임화 설계에서 예상하는 바와 같이 플레이어 성과를 일관되게 향상시키는가?
• RQ4 다양한 랭킹표 디자인이 고성수 게임 런칭 기간 동안 참여도와 성과에 얼마나 큰 영향을 미치는가?
• RQ5 개인화된 또는 랭킹표가 없는 시스템은 전통적인 경쟁적 랭킹표보다 성과를 유지하거나 향상시킬 수 있는가?

주요 결과

• '랭킹표 없음' 조건에서의 평균 플레이어 성과가 전체 기간 상위 5명 랭킹표 조건보다 높았다.
• 일부 사례에서는 '랭킹표 없음' 조건이 개인화된 무한 랭킹표를 뛰어넘는 성과를 보였으며, 이는 랭킹표가 성과를 향상시킨다는 기대와 정면으로 배치된다.
• 개인화된 무한 랭킹표 조건은 '랭킹표 없음' 조건과 비교해 성과 향상에 유의미한 영향을 미치지 못했다.
• 랭킹표가 없는 동안 플레이어 성과는 안정되거나 향상되었으며, 이는 경쟁적 순위가 고품질 게임 플레에 필수적이지 않다는 것을 시사한다.
• 결과는 랭킹표를 게임화 도구의 기본 설정으로 널리 사용하는 것에 도전하며, 랭킹표가 항상 성과를 향상시키는 것은 아님을 시사한다.
• 연구는 랭킹표가 성과 향상 도구로 보장되지 않으며, 특정 맥락에서는 오히려 역효과를 낳을 수 있음을 경험적으로 입증한다.