[論文レビュー] Understanding Player Engagement and In-Game Purchasing Behavior with Ensemble Learning

Anna Guitart, Ana Fernández del Río+1 more|arXiv (Cornell University)|Jul 9, 2019

Sports Analytics and Performance参考文献 14被引用数 6

ひとこと要約

本研究では、アンサンブル学習を用いて、フリープレイオンラインゲームにおける退会予測および購入退会予測の精度を向上させる、新しいプレイヤー分類フレームワークを提案する。『ゾンビ』（極めて不活発なプレイヤー）および『蘇生プレイヤー』（長期間の不活性後、再び登録するプレイヤー）を除外することで、分類モデルおよび生存分析モデルの両方で予測精度が顕著に向上し、ログイン退会予測では両方のグループを除外した場合、購入退会予測ではゾンビに加え『購入蘇生プレイヤー』を除外した場合に最も良い結果が得られた。

ABSTRACT

As video games attract more and more players, the major challenge for game studios is to retain them. We present a deep behavioral analysis of churn (game abandonment) and what we called "purchase churn" (the transition from paying to non-paying user). A series of churning behavior profiles are identified, which allows a classification of churners in terms of whether they eventually return to the game (false churners)--or start purchasing again (false purchase churners)--and their subsequent behavior. The impact of excluding some or all of these churners from the training sample is then explored in several churn and purchase churn prediction models. Our results suggest that discarding certain combinations of "zombies" (players whose activity is extremely sporadic) and false churners has a significant positive impact in all models considered.

研究の動機と目的

• 曇った退会定義によるフリープレイオンラインゲームにおける不正確な退会予測の課題に対処すること。
• 退会後の行動に基づいて、誤った退会者、蘇生プレイヤー、ゾンビ、購入蘇生ユーザーの4つの異なる行動的プロファイルにプレイヤーを分類すること。
• 特定のプレイヤー種別をトレーニングデータから除外した場合の、退会および購入退会予測性能への影響を評価すること。
• 分類モデルと生存分析モデルのアプローチの有効性を比較すること。
• ゲーム分析分野におけるより正確で運用に役立つ退会予測モデルのフレームワークを構築すること。

提案手法

• 本研究では、フリープレイオンラインゲームの実世界データセットを用い、ログイン退会は不活性日数、購入退会は支出の有無に基づいて定義する。
• プレイヤーは以下の行動的プロファイルに分類される：誤った退会者（不活性後に再登録）、蘇生プレイヤー（長期間の不活性後、再登録）、ゾンビ（極めて稀な活動）、購入蘇生（長期間の不在後に再び購入を再開）。
• ログイン退会および購入退会を予測するために、バイナリ分類および生存分析の両方のアプローチを用いたアンサンブル学習モデルを訓練する。
• IBS（統合ブレアスコア）および誤差率などの性能指標を用いて、トレーニングセットから特定のプレイヤーグループ（ゾンビ、蘇生プレイヤー、購入蘇生プレイヤー）を除外した影響を体系的に評価する。
• 生存モデルが好まれる理由は、打ち切りデータを適切に扱い、イベント発生までの時間を予測できる点に起因する。これは退会分析に適している。
• ライフタイム、レベル、プレイ時間といった主要なプレイヤー特徴量を基にモデル性能を評価し、行動グループおよびモデルタイプごとに結果を分析する。

実験結果

リサーチクエスチョン

• RQ1 ゾンビ、蘇生プレイヤー、購入蘇生プレイヤーといった異なるプレイヤー種別を除外することで、ログイン退会予測モデルの精度にどのような影響を与えるか？
• RQ2 オンラインゲームにおけるプレイヤー退会予測において、分類アプローチと生存分析アプローチの性能を比較するとどうなるか？
• RQ3 『誤った退会者』および『蘇生プレイヤー』を除外することで、より強固で正確な退会予測モデルが得られるか？
• RQ4 『購入蘇生プレイヤー』の定義を洗練させることで、購入退会予測の精度が向上するか？
• RQ5 異なるプレイヤー行動プロファイルに応じて予測性能を最大化するための、トレーニングから除外すべきプレイヤーグループの最適な組み合わせは何か？

主な発見

• トレーニングデータからゾンビおよび蘇生プレイヤーを除外することで、ログイン退会予測における全体的な精度が最も向上し、特に低～中程度のプレイヤーライフタイム、レベル、プレイ時間において顕著な誤差低減が見られた。
• 生存分析モデルは、打ち切りデータを適切に扱い、イベント発生までの時間を推定できる点を活かして、バイナリ分類モデルを上回る性能を示した。
• 購入蘇生プレイヤーを除外することで、高レベルおよび高プレイ時間のプレイヤーにおける予測精度が向上するが、全体の性能は行動シグナルの損失により低下する傾向にある。
• 購入退会予測において、ゾンビおよび購入蘇生プレイヤーの両方を除外した場合が、全体として最も良い結果が得られ、蘇生プレイヤーの追加除外による影響は最小限であった。
• トレーニングデータに『ゾンビ』プレイヤーが含まれていると、モデルの性能が悪化する傾向があることから、退会予測タスクにおいてノイズとして機能していると示唆された。
• 本研究では、特定の行動グループを除外することでモデルの精度が向上し、データセットサイズも縮小され、ゲームスタジオにとって運用上の利点が得られることを示した。