[논문 리뷰] Characterizing and Forecasting User Engagement with In-app Action Graph: A Case Study of Snapchat

Yozen Liu, Xiaolin Shi외 2명|arXiv (Cornell University)|2019. 06. 02.

Complex Network Analysis Techniques인용 수 7

한 줄 요약

이 논문은 세션 내 세부적인 앱 내 행동 전이를 모델링하여 스냅챗 사용자 참여도를 특성화하고 예측하기 위한 시간적 행동 그래프 모델을 제안한다. 그래프 특징과 딥러닝(GCN-LSTM)을 조합함으로써, 향후 참여도 예측에서 베이스라인을 능가하는 성능을 보이며, 스냅챗에서 실제 운영을 통해 사용자 유지를 위한 통찰과 성장을 위한 통찰을 제공한다.

ABSTRACT

While mobile social apps have become increasingly important in people's daily life, we have limited understanding on what motivates users to engage with these apps. In this paper, we answer the question whether users' in-app activity patterns help inform their future app engagement (e.g., active days in a future time window)? Previous studies on predicting user app engagement mainly focus on various macroscopic features (e.g., time-series of activity frequency), while ignoring fine-grained inter-dependencies between different in-app actions at the microscopic level. Here we propose to formalize individual user's in-app action transition patterns as a temporally evolving action graph, and analyze its characteristics in terms of informing future user engagement. Our analysis suggested that action graphs are able to characterize user behavior patterns and inform future engagement. We derive a number of high-order graph features to capture in-app usage patterns and construct interpretable models for predicting trends of engagement changes and active rates. To further enhance predictive power, we design an end-to-end, multi-channel neural model to encode temporal action graphs, activity sequences, and other macroscopic features. Experiments on predicting user engagement for 150k Snapchat new users over a 28-day period demonstrate the effectiveness of the proposed models. The prediction framework is deployed at Snapchat to deliver real world business insights. Our proposed framework is also general and can be applied to other social app platforms.

연구 동기 및 목표

• 세부적인 앱 내 행동 전이가 향후 사용자 참여도에 미치는 영향를 이해하기 위해.
• _macroscopic 활동 빈도를 초월한 미시적 사용자 행동 패턴을 포착하는 모델을 개발하기 위해.
• 사용자 참여도 추세를 예측하기 위한 해석 가능하고 확장 가능한 프레임워크를 만들기 위해.
• 행동 그래프의 시간적 동역학을 딥러닝과 통합하여 예측 성능을 향상시키기 위해.
• 스냅챗의 사용자 성장 및 유지 전략에 실질적인 비즈니스 통찰을 제공하기 위해.

제안 방법

• 논문은 개인 사용자의 앱 내 행동를 가중치가 부여된 방향성 있는 행동 그래프로 모델링하며, 노드는 행동을 나타내고, 간선은 세션 내 전이 확률을 나타낸다.
• 복잡한 행동 패턴을 포착하기 위해 k-호프 경로, 종점 간 경로, 사이클 강도와 같은 고차원 그래프 특징을 유도한다.
• 이중 단계 접근 방식을 사용한다: 첫 번째로 해석 가능성에 중점을 둔 특징 기반 모델(선형 SVM); 두 번째로 활동 시퀀스, GCN, 매크로스코픽 특징을 통합한 엔드 투 엔드 다중 채널 딥러닝 모델.
• 시간적 GCN-LSTM 모델은 시간에 따라 변화하는 행동 그래프를 인코딩하여 동적인 사용자 행동 시퀀스를 포착한다.
• 최종 모델은 활동 시퀀스, 시간적 행동 그래프, 사용자 수준의 특징을 통합하여 일괄적인 엔드 투 엔드 학습 프레임워크에 통합한다.
• 모델 성능은 28일 예측 윈도우 동안 15만 명의 신규 스냅챗 사용자를 대상으로 RMSE 및 AUC와 같은 지표를 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 행동 그래프를 통해 캡처된 앱 내 행동 전이 패턴이 향후 사용자 참여도를 예측할 수 있는가?
• RQ2 k-호프 경로 및 사이클과 같은 고차원 그래프 특징은 사용자 참여도 수준과 어떻게 관련이 있는가?
• RQ3 행동 그래프의 시간적 진화를 모델링하면 정적 또는 순서 전용 모델 대비 참여도 예측 성능이 향상되는가?
• RQ4 해석 가능한 그래프 특징이 모델의 설명 가능성 및 비즈니스 통찰 생성에 얼마나 기여하는가?
• RQ5 활동 시퀀스, 그래프, 특징 등의 다양한 데이터 모odalities를 통합한 엔드 투 엔드 딥러닝 모델이 베이스라인을 능가할 수 있는가?

주요 결과

• 시간적 GCN-LSTM 모델은 향후 활동 일수 예측에서 RMSE 2.75를 기록하여 모든 베이스라인을 능가하는 최고의 성능을 보였다.
• k-호프 경로, 종점 간 경로, 사이클 강도와 같은 고차원 그래프 특징은 참여도 예측에 가장 예측력 있는 특징들 중 하나였다.
• 채팅 관련 행동은 상위 예측 3-호프 경로에 자주 등장하여 높은 참여도와의 강한 연관성을 보였다.
• 긴 복잡한 경로와 비트리비얼 사이클은 단순하거나 짧은 경로보다 더 예측력이 높았으며, 이는 깊이 있는 앱 사용이 더 높은 유지율과 관련이 있음을 시사했다.
• 활동 시퀀스, 시간적 그래프, 매크로스코픽 특징을 통합한 엔드 투 엔드 다중 채널 모델이 가장 높은 예측 정확도를 달성했다.
• 이 프레임워크는 스냅챗에서 성공적으로 구현되어 사용자 성장 및 유지 전략에 실질적인 통찰을 제공했다.