[論文レビュー] Leaderboard Effects on Player Performance in a Citizen Science Game
本研究では、市民科学ゲーム『Quantum Moves』におけるプレイヤーのパフォーマンスに与える、異なるリーダーボードデザイン（リーダーボードなし、全期間で上位5名、パーソナライズド無限リーダーボード）の影響を調査した。高負荷のリリースフェーズ中に4,500人以上のプレイヤーのデータを用いて分析した結果、リーダーボードを削除するか、パーソナライズドランクを利用する場合、パフォーマンスが低下せず、場合によっては標準の上位5名リーダーボードを上回ることもあった。これは、ゲーム化システムにおいてリーダーボードがパフォーマンスを普遍的に向上させるという仮定に疑問を呈するものである。
Quantum Moves is a citizen science game that investigates the ability of humans to solve complex physics challenges that are intractable for computers. During the launch of Quantum Moves in April 2016 the game's leaderboard function broke down resulting in a "no leaderboard" game experience for some players for a couple of days (though their scores were still displayed). The subsequent quick fix of an all-time Top 5 leaderboard, and the following long-term implementation of a personalized relative-position (infinite) leaderboard provided us with a unique opportunity to compare and investigate the effect of different leaderboard implementations on player performance in a points-driven citizen science game. All three conditions were live sequentially during the game's initial influx of more than 150.000 players that stemmed from global press attention on Quantum Moves due the publication of a Nature paper about the use of Quantum Moves in solving a specific quantum physics problem. Thus, it has been possible to compare the three conditions and their influence on the performance (defined as a player's quality of game play related to a high-score) of over 4500 new players. These 4500 odd players in our three leaderboard-conditions have a similar demographic background based upon the time-window over which the implementations occurred and controlled against Player ID tags. Our results placed Condition 1 experience over condition 3 and in some cases even over condition 2 which goes against the general assumption that leaderboards enhance gameplay and its subsequent overuse as a an oft-relied upon element that designers slap onto a game to enhance said appeal. Our study thus questions the use of leaderboards as general performance enhancers in gamification contexts and brings some empirical rigor to an often under-reported but overused phenomenon.
研究の動機と目的
- 市民科学ゲームにおける異なるリーダーボード実装がプレイヤーのパフォーマンスに与える影響を調査すること。
- リーダーボードがゲームプレイの質と継続的参加を向上させるかどうか、ゲーム化された科学的タスクにおいて評価すること。
- 150,000人以上のプレイヤーが参加した高負荷のリリースフェーズにおける、リーダーボード設計のパフォーマンスへの影響を評価すること。
- ゲーム化におけるリーダーボードの有効性について、広く信じられているそれらのパフォーマンス向上効果に関する仮説を覆す実証的証拠を提供すること。
- 3つの異なるリーダーボード条件（リーダーボードなし、全期間上位5名、パーソナライズド相対順位リーダーボード）を比較すること。
提案手法
- 本研究では、『Quantum Moves』のリリース時に一時的にリーダーボード機能が停止した自然実験を活用し、『リーダーボードなし』の状態を生成した。
- 研究者たちは、3つの連続するリーダーボード条件を比較した：（1）リーダーボードなし、（2）全期間上位5名リーダーボード、（3）パーソナライズド無限リーダーボード。
- パフォーマンスは、量子物理学のチャレンジを解く際のゲームプレイの質を反映するプレイヤースコアによって測定された。
- プレイヤーのデモグラフィック要因と参加時刻をプレイヤーIDタグを用いて制御し、各条件間で比較可能なグループを確保した。
- 本研究では、3つの異なるリーダーボードフェーズ中に参加した4,500人以上の新規プレイヤーの大きなデータセットを用いた。
- 3つの条件間でのパフォーマンス結果の差を評価するために、統計的比較が行われた。
実験結果
リサーチクエスチョン
- RQ1リーダーボードが存在しない場合、市民科学ゲームにおけるプレイヤーのパフォーマンスに悪影響を及えるか？
- RQ2標準的な上位5名リーダーボードとパーソナライズド無限リーダーボードの両方が、ゲームプレイの質にどのように影響を与えるか？
- RQ3リーダーボードの存在が、ゲーム化設計の文脈で一般的に想定されているように、プレイヤーのパフォーマンスを一貫して向上させるのか？
- RQ4高負荷のゲームリリースにおいて、異なるリーダーボード設計が参加意識とパフォーマンスにどの程度影響を与えるか？
- RQ5パーソナライズドまたはリーダーボードなしのシステムが、従来の競争型リーダーボードと比較して、パフォーマンスを維持あるいは向上させることができるか？
主な発見
- 『リーダーボードなし』の条件では、全期間上位5名リーダーボードの条件よりも平均的なプレイヤーのパフォーマンスが高かった。
- 一部のケースでは、『リーダーボードなし』の条件がパーソナライズド無限リーダーボードを上回り、リーダーボードがパフォーマンスを向上させるという期待に反した。
- パーソナライズド無限リーダーボードは、リーダーボードなしの条件と比較して、パフォーマンスに顕著な向上効果を示さなかった。
- リーダーボードが存在しない場合、プレイヤーのパフォーマンスは安定的あるいは向上しており、これは競争的ランク付けが高品質なゲームプレイにとって必須ではない可能性を示唆している。
- 結果として、リーダーボードをゲーム化のデフォルトツールとして広く使用するという慣習に疑問を呈し、特定の文脈ではパフォーマンスを向上させない、あるいは逆に悪影響を及ぼす可能性があることが示された。
- 本研究は、リーダーボードがパフォーマンスを保証的に向上させるものではないという実証的証拠を提供しており、特定の状況では逆効果である可能性がある。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。