[논문 리뷰] Understanding Player Engagement and In-Game Purchasing Behavior with Ensemble Learning

Anna Guitart, Ana Fernández del Río외 1명|arXiv (Cornell University)|2019. 07. 09.

Sports Analytics and Performance참고 문헌 14인용 수 6

한 줄 요약

이 연구는 앙상블 학습을 사용하여 무료 플레이 온라인 게임에서 이탈 및 구매 이탈 예측을 향상시키기 위해 새로운 플레이어 분류 프레임워크를 제안한다. '좀비'(매우 불규칙한 활동을 보이는 플레이어)와 '부활한 플레이어'(장기간 불활성 후 복귀한 플레이어)를 제외함으로써, 분류 모델과 생존 모델 양쪽 모두에서 정확도를 크게 향상시켰으며, 로그인 이탈 예측에서는 양쪽 그룹을 모두 제거했을 때 가장 우수한 성능을 기록했고, 구매 이탈 예측에서는 좀비 플레이어와 '구매 부활 플레이어'(장기간 중단 후 재구매를 시작한 플레이어)를 제거했을 때 최고의 결과를 얻었다.

ABSTRACT

As video games attract more and more players, the major challenge for game studios is to retain them. We present a deep behavioral analysis of churn (game abandonment) and what we called "purchase churn" (the transition from paying to non-paying user). A series of churning behavior profiles are identified, which allows a classification of churners in terms of whether they eventually return to the game (false churners)--or start purchasing again (false purchase churners)--and their subsequent behavior. The impact of excluding some or all of these churners from the training sample is then explored in several churn and purchase churn prediction models. Our results suggest that discarding certain combinations of "zombies" (players whose activity is extremely sporadic) and false churners has a significant positive impact in all models considered.

연구 동기 및 목표

• 모호한 이탈 정의로 인해 무료 플레이 온라인 게임에서 정확도가 떨어지는 이탈 예측 문제를 해결하기 위해.
• 이탈 후 행동에 기반해 플레이어를 다양한 행동 프로파일—가짜 이탈자, 부활한 플레이어, 좀비, 구매 부활 사용자—로 분류하기 위해.
• 특정 플레이어 유형을 학습 데이터에서 제외했을 때 이탈 및 구매 이탈 예측 성능에 미치는 영향을 평가하기 위해.
• 이탈 예측에서 분류 모델과 생존 모델링 접근 방식의 효과성을 비교하기 위해.
• 게임 분석 분야에서 더 정확하고 실무적으로 유용한 이탈 예측 모델을 위한 프레임워크를 개발하기 위해.

제안 방법

• 연구는 무료 플레이 온라인 게임의 실제 데이터셋을 사용하여 로그인 이탈과 구매 이탈을 각각 불활동 일수와 지출 없음 여부에 기반해 정의한다.
• 플레이어는 행동 프로파일로 분류된다: 가짜 이탈자(불활동 후 복귀), 부활한 플레이어(장기간 불활동 후 복귀), 좀비(매우 불규칙한 활동), 구매 부활(장기간 중단 후 재구매 시작).
• 로그인 이탈과 구매 이탈을 예측하기 위해 이진 분류와 생존 분석 접근 방식을 모두 사용한 앙상블 학습 모델을 훈련시킨다.
• IBS(통합 브리어 스코어)와 오류율과 같은 성능 지표를 사용하여, 특정 플레이어 그룹(좀비, 부활, 구매 부활)을 학습 세트에서 제외했을 때의 영향을 체계적으로 평가한다.
• 생존 모델이 더 선호되며, 이는 케이싱된 데이터를 처리하고 시간-이벤트 예측을 제공할 수 있기 때문에 이탈 분석에 더 적합하기 때문이다.
• 수명, 레벨, 플레이 타임과 같은 주요 플레이어 특성에 따라 모델 성능을 평가하며, 결과는 행동 그룹과 모델 유형별로 분석된다.

실험 결과

연구 질문

• RQ1 다양한 유형의 플레이어(좀비, 부활, 구매 부활)를 제외했을 때 로그인 이탈 예측 모델의 정확도에 어떤 영향을 미치는가?
• RQ2 이탈 예측에서 분류 모델과 생존 모델링 접근 방식의 비교 성능은 어떠한가?
• RQ3 '가짜 이탈자'와 '부활한 플레이어'를 제거하면 더 강력하고 정확한 이탈 예측 모델이 만들어지는가?
• RQ4 구매 부활 플레이어에 대한 정의를 정교화하면 구매 이탈 예측 정확도가 향상되는가?
• RQ5 다양한 플레이어 행동 프로파일에 걸쳐 예측 성능을 최대화하기 위해 학습에서 제외할 플레이어 그룹의 최적 조합은 무엇인가?

주요 결과

• 학습 데이터에서 좀비 플레이어와 부활한 플레이어를 제외하면 로그인 이탈 예측의 전체 정확도가 가장 높아지며, 특히 저수준에서 중간 수준의 플레이어 수명, 레벨, 플레이 타임에서 오류 감소 효과가 뚜렷하다.
• 생존 모델링 접근 방식이 이진 분류보다 이탈 예측에서 더 뛰어나며, 이는 케이싱된 데이터를 처리하고 시간-이벤트 추정치를 제공할 수 있기 때문이다.
• 구매 부활 플레이어를 제외하면 고레벨 및 고플레이타임 플레이어의 예측 정확도가 향상되지만, 전체적으로는 유용한 행동 신호 손실로 인해 성능이 저하된다.
• 구매 이탈 예측에서는 좀비 플레이어와 구매 부활 플레이어를 모두 제거했을 때 가장 우수한 전반적 성능을 기록했으며, 부활 플레이어까지 제거하는 데에도 영향을 거의 미치지 않았다.
• 학습 데이터에 '좀비' 플레이어를 포함시키면 모델 성능에 악영향을 미치며, 이는 이탈 예측 작업에서 노이즈 역할을 함을 시사한다.
• 이 연구는 특정 행동 그룹을 제외함으로써 모델 정확도를 향상시키고 데이터셋 크기를 줄일 수 있음을 입증하며, 게임 스튜디오에 운영상의 이점을 제공한다.