[论文解读] Characterizing and Forecasting User Engagement with In-app Action Graph: A Case Study of Snapchat

Yozen Liu, Xiaolin Shi+2 more|arXiv (Cornell University)|Jun 2, 2019

Complex Network Analysis Techniques被引用 7

一句话总结

本文提出一种时间动作图模型，通过建模应用内细粒度动作转换，以表征和预测Snapchat用户参与度。通过结合图特征与深度学习（GCN-LSTM），该框架在预测未来参与度方面优于基线模型，且已在Snapchat实际部署，为用户留存与增长提供真实洞察。

ABSTRACT

While mobile social apps have become increasingly important in people's daily life, we have limited understanding on what motivates users to engage with these apps. In this paper, we answer the question whether users' in-app activity patterns help inform their future app engagement (e.g., active days in a future time window)? Previous studies on predicting user app engagement mainly focus on various macroscopic features (e.g., time-series of activity frequency), while ignoring fine-grained inter-dependencies between different in-app actions at the microscopic level. Here we propose to formalize individual user's in-app action transition patterns as a temporally evolving action graph, and analyze its characteristics in terms of informing future user engagement. Our analysis suggested that action graphs are able to characterize user behavior patterns and inform future engagement. We derive a number of high-order graph features to capture in-app usage patterns and construct interpretable models for predicting trends of engagement changes and active rates. To further enhance predictive power, we design an end-to-end, multi-channel neural model to encode temporal action graphs, activity sequences, and other macroscopic features. Experiments on predicting user engagement for 150k Snapchat new users over a 28-day period demonstrate the effectiveness of the proposed models. The prediction framework is deployed at Snapchat to deliver real world business insights. Our proposed framework is also general and can be applied to other social app platforms.

研究动机与目标

• 理解细粒度应用内动作转换如何影响未来的用户参与度。
• 开发一种模型，以捕捉超越宏观活动频率的微观用户行为模式。
• 构建一种可解释且可扩展的框架，用于预测用户参与度趋势。
• 将动作图的时间动态特性与深度学习相结合，以提升预测性能。
• 为Snapchat的用户增长与留存策略提供可操作的业务洞察。

提出的方法

• 本文将个体用户在应用内的动作建模为加权有向动作图，其中节点代表动作，边代表会话内动作之间的转移概率。
• 通过提取高阶图特征（如k跳路径、端到端路径、环强度）来捕捉复杂的行为模式。
• 采用两阶段方法：第一阶段为基于特征的线性SVM模型，以保证可解释性；第二阶段为端到端的多通道深度学习模型，结合LSTM、GCN与宏观特征。
• 时间GCN-LSTM模型对随时间演化的动作图进行编码，以捕捉动态的用户行为序列。
• 最终模型在联合端到端训练框架中整合了活动序列、时间动作图与用户级特征。
• 模型性能在15万位Snapchat新用户、28天预测窗口上进行评估，采用RMSE与AUC等指标。

实验结果

研究问题

• RQ1 通过动作图捕捉的应用内动作转换模式能否预测未来的用户参与度？
• RQ2 高阶图特征（如k跳路径与环）与用户参与度水平之间有何关系？
• RQ3 建模动作图的时间演化是否能提升相比静态或仅序列模型的参与度预测性能？
• RQ4 可解释的图特征在多大程度上增强了模型的可解释性与业务洞察生成能力？
• RQ5 结合多种数据模态（序列、图、特征）的端到端深度学习模型能否超越基线模型？

主要发现

• 时间GCN-LSTM模型在预测未来活跃天数方面表现最佳，RMSE为2.75，优于所有基线模型。
• 高阶图特征（如k跳路径、端到端路径、环强度）是预测参与度最有效的特征之一。
• 聊天相关动作频繁出现在预测力最强的3跳路径中，表明其与参与度提升存在强关联。
• 更长、更复杂的路径及非平凡环路比简单或短路径更具预测力，表明深度使用应用与更高留存率相关。
• 端到端的多通道模型（整合活动序列、时间图与宏观特征）实现了最高的预测准确率。
• 该框架已成功在Snapchat部署，为用户增长与留存策略提供可操作的洞察。