[論文レビュー] I Know You'll Be Back: Interpretable New User Clustering and Churn Prediction on a Mobile Social Application

Carl Yang, Xiaolin Shi+2 more|arXiv (Cornell University)|Sep 29, 2019

Recommender Systems and Techniques参考文献 54被引用数 7

ひとこと要約

本稿では、行動特徴およびエゴネットワーク特徴を用いて新規モバイルアプリ利用者を解釈可能なタイプにクラスタリングする最初の段階と、新規ユーザーの離脱予測を実現する新しいLSTMアテンションモデルを統合して学習する二段階フレームワーク「ClusChurn」を提案する。この手法は初期データが限られた状況下でも最先端の離脱予測性能を達成するとともに、リテンション戦略に役立つ実行可能で解釈可能なインサイトを提供する。

ABSTRACT

As online platforms are striving to get more users, a critical challenge is user churn, which is especially concerning for new users. In this paper, by taking the anonymous large-scale real-world data from Snapchat as an example, we develop extit{ClusChurn}, a systematic two-step framework for interpretable new user clustering and churn prediction, based on the intuition that proper user clustering can help understand and predict user churn. Therefore, extit{ClusChurn} firstly groups new users into interpretable typical clusters, based on their activities on the platform and ego-network structures. Then we design a novel deep learning pipeline based on LSTM and attention to accurately predict user churn with very limited initial behavior data, by leveraging the correlations among users' multi-dimensional activities and the underlying user types. extit{ClusChurn} is also able to predict user types, which enables rapid reactions to different types of user churn. Extensive data analysis and experiments show that extit{ClusChurn} provides valuable insight into user behaviors, and achieves state-of-the-art churn prediction performance. The whole framework is deployed as a data analysis pipeline, delivering real-time data analysis and prediction results to multiple relevant teams for business intelligence uses. It is also general enough to be readily adopted by any online systems with user behavior data.

研究の動機と目的

• モバイルソーシャルアプリにおけるユーザー離脱の課題、特に新規ユーザーに対する課題に応えるため、解釈可能なクラスタリングと正確な離脱予測を統合したフレームワークの開発を目的とする。
• 多様な次元の行動パターンとエゴネットワーク構造に基づいて、意味のある解釈可能なユーザー型を特定し、離脱要因をよりよく理解することを目的とする。
• 初期ユーザー行動データが限られた状況下でも、スケーラブルかつリアルタイムに動作する予測システムを設計し、ユーザー型の同時推論を可能にする。
• ユーザー行動データを持つオンラインプラットフォームに汎用的に適用可能なフレームワークを構築し、解釈可能なインサイトを通じてユーザーのリテンションを向上させることを目的とする。

提案手法

• ClusChurnは、特徴工学、k-meansクラスタリング、シルエット分析を組み合わせた三段階のクラスタリング手法を用い、日常の行動およびエゴネットワーク特徴に基づいて6つの解釈可能なユーザー型を同定する。
• ユーザー型は、行動パターン（例：頻度、継続時間、コンテンツタイプ）およびネットワーク構造（例：次数、密度、コア性）に基づいて導出される。
• 並列された長短期記憶（LSTM）ネットワークに基づくディープラーニングパイプラインが、時間的ユーザー行動をモデル化し、アテンション機構が関連するユーザー型に焦点を当てる。
• ユーザー型と離脱予測の両方を相関関係を活用して同時に学習する。属性埋め込みを用いて、スパarsなノイズの多い行動データに対処する。
• 伝統的なネットワーク解析（例：コア分解、次数／密度分析）とディープラーニングを統合し、解釈可能性と性能の両立を図る。

実験結果

リサーチクエスチョン

• RQ1 新規ユーザーの行動およびネットワークパターンに基づいて、明確で解釈可能なユーザー型は何か？
• RQ2 ユーザー型は離脱の可能性とどのように相関しているのか？また、クラスタリングは離脱予測性能を向上させうるか？
• RQ3 初期ユーザー行動データのみを用いた場合に、ユーザー型と離脱予測の共同学習フレームワークは、個別に学習したモデルを上回る性能を示せるか？
• RQ4 モデルの予測結果はどの程度解釈可能であり、ターゲットを絞ったリテンション戦略に活用できるか？

主な発見

• ClusChurnは、6つの解釈可能なユーザー型を効果的に同定し、それぞれに明確な行動的・ネットワーク的特徴（例：高活動ユーザー、低ネットワーク接続性の孤立ユーザー）を有することが判明した。
• クラスタリング結果は離脱を強く予測可能であり、将来的な離脱行動と強い相関を持つため、教師なしラベル付けによるユーザー型の特定が可能である。
• 共同学習型LSTMアテンションモデルは、限られた初期行動データ下でも最先端の離脱予測性能を達成しており、ベースラインモデルを著しく上回った。
• フレームワークはリアルタイムの予測とインサイトを提供でき、Snap Inc.にて複数のビジネスチームがユーザー分析、成長戦略、リテンション施策に活用している。
• モデルの解釈可能性により、ユーザー型に応じた的確な対応が可能となり、例えばパーソナライズドオンボーディングやエンゲージメント戦略の実施が可能になった。