[論文レビュー] A Comparison of Methods for Player Clustering via Behavioral Telemetry

Anders Drachen, Christian Thurau+2 more|arXiv (Cornell University)|Jul 15, 2014

Sports Analytics and Performance参考文献 28被引用数 50

ひとこと要約

本稿では、5年間にわたり70,014名の『アヴァンティック・アーマーズ』プレイヤーのプレイ時間およびレベルアップ速度のテレメトリデータに対して、非教師ありクラスタリング手法—k-means、c-means、NMF、PCA、およびアーキタイプ分析（AA）—を評価している。AAは、実際のゲーム内行動（例：拡張コンテンツリリースに伴う急激なレベル上昇）に対応する解釈可能で行動的に妥当なアーキタイプ的プロファイルを生成することで、他の手法を上回る。一方、PCAとNMFは、プレイヤーがレベルを失うといった非現実的な結果を生じさせている。

ABSTRACT

The analysis of user behavior in digital games has been aided by the introduction of user telemetry in game development, which provides unprecedented access to quantitative data on user behavior from the installed game clients of the entire population of players. Player behavior telemetry datasets can be exceptionally complex, with features recorded for a varying population of users over a temporal segment that can reach years in duration. Categorization of behaviors, whether through descriptive methods (e.g. segmention) or unsupervised/supervised learning techniques, is valuable for finding patterns in the behavioral data, and developing profiles that are actionable to game developers. There are numerous methods for unsupervised clustering of user behavior, e.g. k-means/c-means, Non-negative Matrix Factorization, or Principal Component Analysis. Although all yield behavior categorizations, interpretation of the resulting categories in terms of actual play behavior can be difficult if not impossible. In this paper, a range of unsupervised techniques are applied together with Archetypal Analysis to develop behavioral clusters from playtime data of 70,014 World of Warcraft players, covering a five year interval. The techniques are evaluated with respect to their ability to develop actionable behavioral profiles from the dataset.

研究の動機と目的

• 大規模なゲームテレメトリから行動的プロファイルを生成する非教師ありクラスタリング手法の有効性を評価すること。
• 特に、手法が直感的でない、あるいは現実的でない行動的プロファイルを生成する場合に生じる解釈可能性の課題に対処すること。
• k-means、NMF、PCAといった従来手法と比較して、シンプル・ボリューム最大化（SIVM）を用いたアーキタイプ分析（AA）が、より解釈可能で行動的に妥当なクラスタを生成するかどうかを評価すること。
• ハードクラスタリング割り当てとソフトクラスタリング割り当ての両方におけるプレイヤーのクラスタ内分布を比較し、ゲームデザインおよび収益化戦略への適性を評価すること。

提案手法

• 70,014名の『アヴァンティック・アーマーズ』プレイヤーの5年間のプレイ時間およびレベルアップ速度データに、k-means、c-means、NMF、PCA、およびアーキタイプ分析（AA）を適用する。
• データ分布の凸包上に位置する極端でアーキタイプ的なプレイヤー行動を表す基底ベクトルを算出するために、シンプル・ボリューム最大化（SIVM）を用いる。
• 基底ベクトルが実際に可能で合法的なゲーム内行動（例：拡張コンテンツリリース時に即座にレベルアップ、レベルの減少なし）に対応しているかどうかをチェックすることで、解釈可能性を評価する。
• 各プレイヤーを最も近い基底ベクトルまたは重心に割り当てることで、ハードクラスタリング割り当てを実施し、定量的プロファイル作成を可能にする。
• 視覚化（例：図4）を用いて、各手法のクラスタ分布を比較し、クラスタ構成の構造的差異を評価する。
• 拡張コンテンツリリースなどの既知のゲームイベントとアーキタイプ的プロファイルを相関させることで、行動の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 どのクラスタリング手法が、実際のゲームメカニクスおよびプレイヤー行動と整合する最も解釈可能な行動的プロファイルを生成するか？
• RQ2 k-means、NMF、PCA、AAは、中央傾向ではなく、極端なまたはアーキタイプ的なプレイヤー行動をどの程度適切に表現できるか？
• RQ3 PCAとNMFが、『アヴァンティック・アーマーズ』のようなゲームで、プレイヤーがレベルを失う可能性があると示唆する基底ベクトルをどの程度生成するか？
• RQ4 ハードアサインメント（k-means）とソフトアサインメント（NMF、PCA、AA）の両手法における、プレイヤーの行動的クラスタ内分布の違いは何か？
• RQ5 SIVMを用いたアーキタイプ分析（AA）は、行動的に妥当で、明確に区別可能かつゲーム開発者にとって有用なプロファイルを生成できるか？

主な発見

• アーキタイプ分析（AA）は、実際の合法的プレイヤー行動（例：拡張コンテンツリリース後に急激にレベルアップ）に対応する基底ベクトルを生成した一方、PCAとNMFはプレイヤーがレベルを失う可能性があると示唆するプロファイルを生成しており、これは『アヴァンティック・アーマーズ』では不可能である。
• k-meansの重心は解釈可能ではあるが、形状が非常に類似しており、異なる行動タイプを明確に区別する能力に制限がある。
• AAの基底ベクトルは、k-meansの重心よりも顕著に多様で解釈可能であり、明確な行動ラベル付けとゲームデザインへのインサイトを可能にした。
• クラスタ内でのプレイヤー分布は顕著に異なった：AAとPCAは3つの大きなグループを示したが、k-meansとNMFは4つの大きなグループと4つの小さなグループを示した。
• ハードクラスタリング割り当てを完全にサポートしていたのはk-meansのみであり、これにより各行動タイプのプレイヤー数を正確に定量化できた。他の手法は最近接基底への近似割り当てを必要とした。
• AAは優れた解釈可能性と行動的妥当性を示し、ゲーム分析における行動的プロファイル生成のための有望な手法であると判明した。