[논문 리뷰] A Latent Feelings-aware RNN Model for User Churn Prediction with Behavioral Data

Meng Xi, Zhiling Luo외 2명|arXiv (Cornell University)|2019. 11. 06.

Recommender Systems and Techniques참고 문헌 14인용 수 6

한 줄 요약

이 논문은 행동 데이터만을 사용하여 사용자 이탈을 동시에 예측하고 사용자 만족도와 열망을 추정하는 잠재 감정 인식 RNN 모델인 LaFee를 제안한다. BMM-UCP를 통해 이탈 예측을 회귀 문제로 재구성함으로써, 모델은 순차적 행동을 효과적으로 활용하여 숨겨진 정서 상태를 추론하며, 장기적 순차 학습에서 베이스라인을 능가하고 타당하고 해석 가능한 잠재 감정을 제공함으로써 표적화된 사용자 유지를 위한 전략을 뒷받침한다.

ABSTRACT

Predicting user churn and taking personalized measures to retain users is a set of common and effective practices for online game operators. However, different from the traditional user churn relevant researches that can involve demographic, economic, and behavioral data, most online games can only obtain logs of user behavior and have no access to users' latent feelings. There are mainly two challenges in this work: 1. The latent feelings, which cannot be directly observed in this work, need to be estimated and verified; 2. User churn needs to be predicted with only behavioral data. In this work, a Recurrent Neural Network(RNN) called LaFee (Latent Feeling) is proposed, which can get the users' latent feelings while predicting user churn. Besides, we proposed a method named BMM-UCP (Behavior-based Modeling Method for User Churn Prediction) to help models predict user churn with only behavioral data. The latent feelings are names as satisfaction and aspiration in this work. We designed experiments on a real dataset and the results show that our methods outperform baselines and are more suitable for long-term sequential learning. The latent feelings learned are fully discussed and proven meaningful.

연구 동기 및 목표

• 인구통계학적 정보나 직접적인 정서 피드백이 없이도 행동 로그만으로 사용자 이탈을 예측하는 데 도전하는 것.
• 사용자 행동 시퀀스에서 직접적으로 잠재 감정—특히 만족도와 열망—을 추정함으로써 개인 맞춤형 유지 전략에 필수적인 요소를 확보하는 것.
• 이탈 예측을 분류 문제에서 회귀 문제로 전환함으로써 순차적 행동 데이터의 효율적 활용과 모델 확장성을 향상시키는 행동 기반 모델링 방법(BMM-UCP)을 개발하는 것.
• 학습된 만족도 및 열망 상태가 단순한 모델 아티팩트가 아니라 실제 의미를 지닌다는 것을 검증하는 것.
• 이탈과 잠재 감정의 동시 예측이 게임 운영자에게 실질적인 통찰을 제공할 수 있도록, 표적화된 서비스 조정 및 동적 추천과 같은 조치 가능한 정보를 도출하는 것.

제안 방법

• 순차적 행동 패턴을 모델링함으로써 사용자 이탈을 동시에 예측하고 잠재 감정 상태인 만족도와 열망을 추정하는 맞춤형 RNN 아키텍처인 LaFee를 제안한다.
• 사용자 이탈 예측을 회귀 작업으로 재구성하는 BMM-UCP(Behavior-based Modeling Method for User Churn Prediction)를 도입한다: 다음 사용자 행동 또는 로그아웃까지의 시간 간격을 예측하는 것.
• 시간 간격 t_in을 열망의 대체 지표로 사용하며, 짧은 간격은 계속 플레이하고자 하는 열망이 높음을 나타낸다.
• 만족도는 게임 내 참여 지속 시간 t_out을 통해 모델링하며, 장기적인 정지 상태는 만족도 감소와 이탈 가능성과 관련된다.
• 시간적 종속성과 변화하는 정서 상태를 모두 반영하는 은닉 상태를 유지하는 순환 아키텍처를 구현하며, 이탈 예측과 잠재 감정 추정을 동시에 최적화하는 손실 함수를 사용한다.
• 만족도와 열망이 상호의존적이고 시간에 따라 변화하는 변수로서 상호 영향을 미치며 사용자의 다음 행동에 영향을 주는 이중 스트림 메커니즘을 구현한다.

실험 결과

연구 질문

• RQ1 인구통계학적 또는 명시적 정서 데이터 없이도 순수한 행동 로그만으로 사용자 이탈을 효과적으로 예측할 수 있는가?
• RQ2 LaFee와 같은 딥 러닝 모델이 이탈 예측과 함께 의미 있는 잠재 감정—만족도와 열망—을 동시에 추정할 수 있는가?
• RQ3 추정된 만족도 및 열망 상태가 실제 사용자 행동 패턴과 물리적으로 해석 가능하고 일관된가?
• RQ4 BMM-UCP 방법이 기존의 분류 기반 접근 방식에 비해 행동 시퀀스에 대한 모델 성능과 일반화 능력을 향상시키는가?
• RQ5 학습된 잠재 감정 상태를 바탕으로 사용자 유지 및 게임 설계에 실질적인 통찰을 도출할 수 있는가?

주요 결과

• LaFee 모델은 장기적 순차 학습 과제에서 베이스라인 모델을 능가하며 행동 시퀀스에 대한 뛰어난 일반화 능력을 보였다.
• BMM-UCP 방법은 이탈 예측을 회귀 문제로 성공적으로 전환하여 순차적 행동 데이터의 효율적 활용을 가능하게 하며, 엔지니어링된 특징에 대한 의존도를 감소시켰다.
• 추정된 만족도 및 열망 상태는 물리적으로 의미가 있다: 만족도는 게임 내 참여 지속 시간과 상관관계가 있으며, 열망은 행동 간 간격과 상관관계가 있다.
• 모델의 잠재 감정 상태는 실제 사용자 행동 패턴과 일관되며, 예를 들어 높은 만족도는 열망 유지에 기여하고, 낮은 만족도는 열망의 급격한 감소와 이탈로 이어진다.
• 모델은 실시간으로 사용자 만족도와 열망을 추정할 수 있으며, 게임 운영자에게 게임 파라미터 조정이나 표적화된 추천 제공과 같은 조치 가능한 통찰을 제공한다.
• 실험 분석을 통해 학습된 잠재 감정 상태가 휴식 후 열망 회복과 같은 예상 가능한 심리적 역학과 일치함을 확인하였다.