[논문 리뷰] Knowing your FATE: Friendship, Action and Temporal Explanations for User Engagement Prediction on Social Apps

Xianfeng Tang, Yozen Liu외 4명|arXiv (Cornell University)|2020. 06. 10.

Recommender Systems and Techniques참고 문헌 43인용 수 6

한 줄 요약

이 논문은 소셜 앱에서 사용자 참여도 예측을 위한 엔드 투 엔드 해석 가능한 신경망 프레임워크인 FATE를 제안한다. FATE는 텐서 기반 그래프 신경망과 혼합 주의 메커니즘을 통한 리커런스 신경망(LSTM)을 활용해 친구 관계 네트워크, 사용자 행동, 시간 동적 변화를 통합한다. Snapchat 데이터셋에서 FATE는 SOTA보다 약 10% 낮은 오차와 약 20% 빠른 학습/추론 속도를 기록하며, 참여도 영향 요인에 대한 국소적 및 전역적 설명을 제공한다.

ABSTRACT

With the rapid growth and prevalence of social network applications (Apps) in recent years, understanding user engagement has become increasingly important, to provide useful insights for future App design and development. While several promising neural modeling approaches were recently pioneered for accurate user engagement prediction, their black-box designs are unfortunately limited in model explainability. In this paper, we study a novel problem of explainable user engagement prediction for social network Apps. First, we propose a flexible definition of user engagement for various business scenarios, based on future metric expectations. Next, we design an end-to-end neural framework, FATE, which incorporates three key factors that we identify to influence user engagement, namely friendships, user actions, and temporal dynamics to achieve explainable engagement predictions. FATE is based on a tensor-based graph neural network (GNN), LSTM and a mixture attention mechanism, which allows for (a) predictive explanations based on learned weights across different feature categories, (b) reduced network complexity, and (c) improved performance in both prediction accuracy and training/inference time. We conduct extensive experiments on two large-scale datasets from Snapchat, where FATE outperforms state-of-the-art approaches by ${\approx}10\%$ error and ${\approx}20\%$ runtime reduction. We also evaluate explanations from FATE, showing strong quantitative and qualitative performance.

연구 동기 및 목표

• 소셜 네트워크 애플리케이션의 사용자 참여도 예측에서 설명 가능한 모델의 부족을 해결하기 위해.
• 다양한 비즈니스 시나리오에 적응 가능한 미래 지표 기대치를 기반으로 사용자 참여도의 탄력적인 정의를 개발하기 위해.
• 친구 영향, 앱 내 사용자 행동, 시간 동적 변화를 통합하여 예측 성능와 해석 가능성 모두를 향상시키는 통합 프레임워크를 설계하기 위해.
• 주의 메커니즘과 기대 최대화(Expectation-Maximization)를 통해 참여도 영향 요인에 대한 국소적(사용자 수준) 및 전역적(앱 수준) 설명을 가능하게 하기 위해.
• 텐서 기반 아키텍처를 사용해 모델 복잡도를 감소시키고 학습/추론 효율성을 향상시키기 위해.

제안 방법

• FATE는 소셜 그래프 전반에서 친구 영향과 사용자 상호작용 패턴을 모델링하기 위해 텐서 기반 그래프 컬러션 네트워크(GCN)를 활용한다.
• 행동 시퀀스의 시간 동적 변화를 포괄하면서도 행동 유형에 따라 중요도를 구분하기 위해 텐서 기반 LSTM을 사용한다.
• 혼합 주의 메커니즘이 친구, 행동, 시간 구성 요소 간의 특징 수준 가중치를 통합하여 해석 가능한 예측을 생성한다.
• 전역 중요도 점수와 국소 설명을 위한 주의 가중치를 도출하기 위해 기대 최대화(Expectation-Maximization)를 사용한다.
• 표준 GNN 및 LSTM 변종 대비 텐서 기반 설계로 파라미터 수를 감소시키고 학습 및 추론 속도를 향상시킨다.
• 엔드 투 엔드로 학습되어 참여도 예측과 설명 품질을 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 소셜 앱의 다양한 비즈니스 목표를 수용할 수 있도록 사용자 참여도를 어떻게 탄력적으로 정의할 수 있는가?
• RQ2 친구 관계 네트워크, 앱 내 사용자 행동, 시간 동적 변화가 사용자 참여도에 공동으로 미치는 영향은 어느 정도인가?
• RQ3 통합된 딥 러닝 모델이 높은 예측 정확도와 의미 있는 해석 가능한 참여도 영향 요인 설명을 동시에 달성할 수 있는가?
• RQ4 FATE의 주의 기반 중요도 점수는 XGBoost와 표준 LSTM에 비해 시간 패턴과 행동 관련성의 특성을 얼마나 잘 포착하는가?
• RQ5 텐서 기반 아키텍처는 성능나 해석 가능성에 손해를 입히지 않고 모델 효율성을 향상시킬 수 있는가?

주요 결과

• FATE는 두 개의 대규모 Snapchat 데이터셋에서 SOTA 기법 대비 예측 오차를 약 10% 감소시켰다.
• FATE는 효율적인 텐서 기반 아키텍처 덕분에 SOTA 모델 대비 런타임 약 20% 감소를 달성했다.
• FATE의 국소적 친구 중요도 점수는 실제 사용자 세션 시간 패턴과 강하게 상관되어 있으며, 높은 중요도를 가진 친구들은 유사한 활동 패턴을 보임을 보여준다.
• 모델의 시간 주의 메커니즘이 표준 LSTM보다 사용자 행동의 주기성을 더 효과적으로 포착한다. 표준 LSTM은 서로 다른 시간 패턴을 분리하지 못한다.
• XGBoost와 LSTM에 비해 FATE의 설명은 정성적·정량적으로 뛰어나며, 더 균형 잡히고 의미 있는 특징 중요도 분포를 보인다.
• FATE의 텐서 기반 GCN 및 LSTM 구성 요소는 높은 예측 정확도를 유지하면서도 모델 복잡도를 감소시키고 학습/추론 속도를 향상시킨다.