[논문 리뷰] I Know You'll Be Back: Interpretable New User Clustering and Churn Prediction on a Mobile Social Application

Carl Yang, Xiaolin Shi외 2명|arXiv (Cornell University)|2019. 09. 29.

Recommender Systems and Techniques참고 문헌 54인용 수 7

한 줄 요약

이 논문은 행동 및 이고네트워크 특징을 사용하여 새로운 모바일 앱 사용자를 해석 가능한 유형으로 클러스터링한 후, 사용자 유형과 찰유를 동시에 학습하는 새로운 LSTM-어텐션 모델을 통해 찰유를 예측하는 이단계 프레임워크인 ClusChurn을 제안한다. 이 방법은 초기 데이터가 제한된 상황에서도 최신 기술 수준의 찰유 예측 성능을 달성하면서도 유지를 위한 전략 수립에 실질적이고 해석 가능한 통찰을 제공한다.

ABSTRACT

As online platforms are striving to get more users, a critical challenge is user churn, which is especially concerning for new users. In this paper, by taking the anonymous large-scale real-world data from Snapchat as an example, we develop extit{ClusChurn}, a systematic two-step framework for interpretable new user clustering and churn prediction, based on the intuition that proper user clustering can help understand and predict user churn. Therefore, extit{ClusChurn} firstly groups new users into interpretable typical clusters, based on their activities on the platform and ego-network structures. Then we design a novel deep learning pipeline based on LSTM and attention to accurately predict user churn with very limited initial behavior data, by leveraging the correlations among users' multi-dimensional activities and the underlying user types. extit{ClusChurn} is also able to predict user types, which enables rapid reactions to different types of user churn. Extensive data analysis and experiments show that extit{ClusChurn} provides valuable insight into user behaviors, and achieves state-of-the-art churn prediction performance. The whole framework is deployed as a data analysis pipeline, delivering real-time data analysis and prediction results to multiple relevant teams for business intelligence uses. It is also general enough to be readily adopted by any online systems with user behavior data.

연구 동기 및 목표

• 모바일 소셜 애플리케이션에서 신규 사용자에 대한 찰유 문제를 해결하기 위해, 해석 가능한 클러스터링과 정확한 찰유 예측을 결합한 프레임워크를 개발하는 것.
• 다차원적 행동 패턴과 이고네트워크 구조를 바탕으로 의미 있는 해석 가능한 사용자 유형을 식별하여 찰유의 주요 원인을 더 잘 이해하는 것.
• 제한된 초기 사용자 행동 데이터를 활용하여 찰유를 예측할 수 있는 확장성 있고 실시간으로 작동하는 예측 시스템을 설계하는 것.
• 사용자 행동 데이터를 보유한 온라인 플랫폼 전반에 적용 가능한 일반화된 프레임워크를 구축하여, 해석 가능한 통찰을 통해 사용자 유지를 향상시키는 것.

제안 방법

• ClusChurn는 특징 공학, k-means 클러스터링, 실루엣 분석을 조합한 삼단계 클러스터링 메커니즘을 사용하여 일일 활동 및 이고네트워크 특징 기반으로 여섯 가지 해석 가능한 사용자 유형을 발견한다.
• 사용자 유형은 행동 패턴(예: 빈도, 지속 시간, 콘텐츠 유형)과 네트워크 구조(예: 차수, 조밀도, 코어성)에서 유도된다.
• 병렬 장기적 단기 기억(LSTM) 네트워크 기반의 딥러닝 파이프라인은 시간에 따른 사용자 활동을 모델링하며, 어텐션 메커니즘을 통해 관련 있는 사용자 유형에 집중한다.
• 사용자 유형과 찰유 예측을 동시에 학습하기 위해 사용자 유형과 찰유 가능성 간의 상관관계를 활용하고, 희소하고 노이즈가 많은 행동 데이터를 처리하기 위해 속성 임베딩을 사용한다.
• 伝통적인 네트워크 분석(예: 코어 분해, 차수/조밀도 분석)과 딥러닝을 통합하여 해석 가능성과 성능 사이의 균형을 이루는 프레임워크를 설계한다.

실험 결과

연구 질문

• RQ1 신규 사용자들 사이에서 행동 및 네트워크 패턴 기반으로 구분 가능한 해석 가능한 사용자 유형은 무엇인가?
• RQ2 사용자 유형은 찰유 가능성과 어떻게 관련되어 있으며, 클러스터링이 찰유 예측 성능 향상에 기여할 수 있는가?
• RQ3 사용자 유형과 찰유 예측을 동시에 학습하는 통합 프레임워크는 초기 사용자 행동 데이터만을 사용하는 분리된 모델보다 우월한 성능을 보일 수 있는가?
• RQ4 모델의 예측 결과가 얼마나 해석 가능하며, 이를 바탕으로 타겟된 유지 전략 수립에 활용될 수 있는가?

주요 결과

• ClusChurn는 여섯 가지 해석 가능한 사용자 유형을 성공적으로 식별하였으며, 각 유형은 고활동 사용자 또는 낮은 네트워크 연결성을 가진 고립된 사용자 등 고유한 행동 및 네트워크 특징을 지닌다.
• 클러스터링 결과는 찰유 예측에 매우 유용하여, 향후 찰유 행동과 강한 상관관계를 가지는 비지도 레이블링을 가능하게 한다.
• 통합 LSTM-어텐션 모델은 제한된 초기 행동 데이터 상황에서도 최신 기술 수준의 찰유 예측 성능를 달성하였으며, 기준 모델들을 크게 능가한다.
• 프레임워크는 실시간 예측 및 통찰을 제공하며, Snap Inc.에서 사용자 모델링, 성장 및 유지 전략을 지원하는 여러 비즈니스 팀에 도입되어 운영 중이다.
• 모델의 해석 가능성 덕분에 팀은 사용자 유형에 기반해 개인화된 온보딩 또는 참여 전략과 같은 타겟된 조치를 취할 수 있다.