[論文レビュー] Characterizing and Forecasting User Engagement with In-app Action Graph: A Case Study of Snapchat

Yozen Liu, Xiaolin Shi+2 more|arXiv (Cornell University)|Jun 2, 2019

Complex Network Analysis Techniques被引用数 7

ひとこと要約

本論文は、アプリ内行動の微細な遷移をモデル化することで、スナップチャットのユーザー参加度を特徴づけ、予測するための時間的行動グラフモデルを提案する。グラフ特徴量とディープラーニング（GCN-LSTM）を組み合わせたフレームワークは、将来の参加度を予測する際、ベースラインを上回る性能を発揮し、スナップチャットでは実運用でユーザーのリテンションや成長に関する実世界のインサイトを提供している。

ABSTRACT

While mobile social apps have become increasingly important in people's daily life, we have limited understanding on what motivates users to engage with these apps. In this paper, we answer the question whether users' in-app activity patterns help inform their future app engagement (e.g., active days in a future time window)? Previous studies on predicting user app engagement mainly focus on various macroscopic features (e.g., time-series of activity frequency), while ignoring fine-grained inter-dependencies between different in-app actions at the microscopic level. Here we propose to formalize individual user's in-app action transition patterns as a temporally evolving action graph, and analyze its characteristics in terms of informing future user engagement. Our analysis suggested that action graphs are able to characterize user behavior patterns and inform future engagement. We derive a number of high-order graph features to capture in-app usage patterns and construct interpretable models for predicting trends of engagement changes and active rates. To further enhance predictive power, we design an end-to-end, multi-channel neural model to encode temporal action graphs, activity sequences, and other macroscopic features. Experiments on predicting user engagement for 150k Snapchat new users over a 28-day period demonstrate the effectiveness of the proposed models. The prediction framework is deployed at Snapchat to deliver real world business insights. Our proposed framework is also general and can be applied to other social app platforms.

研究の動機と目的

• 微細なアプリ内行動遷移が将来のユーザー参加度に与える影響を理解すること。
• マクロな活動頻度を超えた、微視的なユーザー行動パターンを捉えるモデルを開発すること。
• 解釈可能でスケーラブルなフレームワークを構築し、ユーザー参加度のトレンドを予測すること。
• 行動グラフの時間的ダイナミクスをディープラーニングと統合し、予測精度を向上させること。
• スナップチャットにおけるユーザー成長およびリテンション戦略のための実行可能なビジネスインサイトを提供すること。

提案手法

• 論文は、個々のユーザーのアプリ内行動を重み付き有向行動グラフとしてモデル化し、ノードが行動を表し、エッジがセッション内での遷移確率を表す。
• 高次のグラフ特徴量として、kホップパス、エンドツーエンドパス、サイクル強度を導出することで、複雑な行動パターンを捉える。
• 二段階のアプローチを採用：第一に、解釈可能性を重視した線形SVMを用いた特徴ベースモデル。第二に、LSTM、GCN、マクロ特徴量を統合したエンドツーエンドのマルチチャネルディープラーニングモデル。
• 時間的GCN-LSTMモデルは、時間経過に伴う変化する行動グラフを符号化し、動的なユーザー行動シーケンスを捉える。
• 最終的なモデルは、活動シーケンス、時間的行動グラフ、ユーザー単位の特徴量を統合的にエンドツーエンド学習フレームワークで統合する。
• モデルの性能は、28日間の予測期間内で15万件のスナップチャット新規ユーザーを対象に、RMSEやAUCなどの指標で評価された。

実験結果

リサーチクエスチョン

• RQ1 行動グラフを用いて捉えたアプリ内行動遷移パターンは、将来のユーザー参加度を予測できるか？
• RQ2 kホップパスやサイクルといった高次のグラフ特徴量は、ユーザー参加度レベルとどのように関係しているか？
• RQ3 行動グラフの時間的進化をモデル化することで、静的またはシーケンスのみのモデルに比べ、参加度予測の精度が向上するか？
• RQ4 解釈可能なグラフ特徴量は、モデルの説明可能性およびビジネスインサイト生成にどの程度寄与するか？
• RQ5 複数のデータモダリティ（シーケンス、グラフ、特徴量）を統合したエンドツーエンドディープラーニングモデルは、ベースラインを上回る性能を発揮するか？

主な発見

• 時間的GCN-LSTMモデルは、将来のアクティブ日数予測においてRMSEが2.75にまで低下し、すべてのベースラインを上回る最高の性能を達成した。
• kホップパス、エンドツーエンドパス、サイクル強度といった高次のグラフ特徴量は、参加度予測において最も予測能の高い特徴量の一部であった。
• チャット関連の行動は、上位予測3ホップパスに頻繁に登場しており、参加度の増加と強い関連があることを示している。
• 長く複雑なパスや非自明なサイクルは、単純または短いパスよりも予測能が高く、アプリ内での深い利用がリテンションの向上と関連していることを示唆している。
• 活動シーケンス、時間的グラフ、マクロ特徴量を統合したエンドツーエンドのマルチチャネルモデルが、最も高い予測精度を達成した。
• このフレームワークはスナップチャットで正常に運用され、ユーザー成長およびリテンション戦略のための実行可能なインサイトを提供した。