[논문 리뷰] FedCTR: Federated Native Ad CTR Prediction with Multi-Platform User Behavior Data

Chuhan Wu, Fangzhao Wu외 3명|arXiv (Cornell University)|2020. 07. 23.

Recommender Systems and Techniques참고 문헌 39인용 수 5

한 줄 요약

FedCTR는 중앙 집중식 데이터 저장 없이 다중 플랫폼 사용자 행동 데이터에서 사용자 관심사를 공동으로 모델링함으로써 개인정보 보호 기반의 페더레이티드 러닝 프레임워크를 제안한다. 플랫폼 수준의 임베딩에 국소적 차별적 개인정보 보호(LDP)를 적용하고, 집계된 임베딩에 차별적 개인정보 보호(DP)를 적용하여, 제한된 플랫폼 내 행동 데이터가 존재하는 상황에서도 최신 기술 수준의 성능을 달성하면서도 사용자 개인정보를 효과적으로 보호한다.

ABSTRACT

Native ad is a popular type of online advertisement which has similar forms with the native content displayed on websites. Native ad CTR prediction is useful for improving user experience and platform revenue. However, it is challenging due to the lack of explicit user intent, and users' behaviors on the platform with native ads may not be sufficient to infer their interest in ads. Fortunately, user behaviors exist on many online platforms and they can provide complementary information for user interest mining. Thus, leveraging multi-platform user behaviors is useful for native ad CTR prediction. However, user behaviors are highly privacy-sensitive and the behavior data on different platforms cannot be directly aggregated due to user privacy concerns and data protection regulations like GDPR. Existing CTR prediction methods usually require centralized storage of user behavior data for user modeling and cannot be directly applied to the CTR prediction task with multi-platform user behaviors. In this paper, we propose a federated native ad CTR prediction method named FedCTR, which can learn user interest representations from their behaviors on multiple platforms in a privacy-preserving way. On each platform a local user model is used to learn user embeddings from the local user behaviors on that platform. The local user embeddings from different platforms are uploaded to a server for aggregation, and the aggregated user embeddings are sent to the ad platform for CTR prediction. Besides, we apply LDP and DP techniques to the local and aggregated user embeddings respectively for better privacy protection. Moreover, we propose a federated framework for model training with distributed models and user behaviors. Extensive experiments on real-world dataset show that FedCTR can effectively leverage multi-platform user behaviors for native ad CTR prediction in a privacy-preserving manner.

연구 동기 및 목표

• 플랫폼 내 행동 데이터가 부족하고 명시적 사용자 의도가 없어 클릭률 예측 정확도가 낮아지는 문제를 해결하기 위해.
• GDPR와 같은 개인정보 보호 규정을 준수하면서도 중앙 집중식 데이터 수집 없이 다중 플랫폼 사용자 행동 데이터로부터 효과적인 사용자 관심도 모델링을 가능하게 하기 위해.
• 다양한 플랫폼에서 분산된 사용자 임베딩을 조율하는 페더레이티드 러닝 프레임워크를 개발하여, 국소적 및 집계 수준에서 사용자 개인정보를 보호하기 위해.
• LDP와 DP 기법을 적용함으로써 클릭률 예측 성능과 개인정보 보호 간의 트레이드오프를 평가하기 위해.

제안 방법

• 각 플랫폼은 자체 행동 로그에서 사용자 임베딩을 학습하는 로컬 사용자 모델을 훈련하여 데이터를 현지에 유지한다.
• 로컬 사용자 임베딩은 각 플랫폼의 기여도의 정보성(정보량)을 모델링하는 어텐션 기반 집계기법을 사용해 중앙 사용자 서버로 업로드되어 집계된다.
• 로컬 임베딩은 원시 사용자 행동 데이터가 업로드된 임베딩에서 유추되는 것을 방지하기 위해 국소적 차별적 개인정보 보호(LDP)를 적용하여 보호된다.
• 집계된 임베딩은 추가로 차별적 개인정보 보호(DP)를 적용하여 통합된 사용자 표현의 개인정보를 보호한다.
• 원시 행동 데이터 유출 없이 협업 모델 훈련이 가능하도록, 원자료가 아닌 모델 기울기 정보를 플랫폼 간 공유하는 페더레이티드 훈련 프레임워크를 사용한다.
• 최종 클릭률 예측은 집계된 사용자 임베딩과 광고 특성 간의 내적곱 상호작용 레이어를 통해 수행되며, 이는 다른 스코링 메커니즘보다 뛰어난 성능을 보인다.

실험 결과

연구 질문

• RQ1 플랫폼 내 행동 데이터가 제한적인 상황에서 다중 플랫폼 사용자 행동 데이터를 효과적으로 활용해 네이티브 광고 클릭률을 예측할 수 있는가?
• RQ2 민감한 행동 로그를 포함한 다중 플랫폼에서의 사용자 임베딩을 집계할 때 사용자 개인정보를 어떻게 보호할 수 있는가?
• RQ3 로컬 및 집계된 임베딩에 LDP와 DP를 적용할 때, 클릭률 예측 성능과 개인정보 보호 간의 최적 트레이드오프는 무엇인가?
• RQ4 어떤 집계 및 스코링 메커니즘(예: 어텐션, 내적곱)이 페더레이티드 클릭률 예측 환경에서 최고의 성능을 낼 수 있는가?

주요 결과

• 제안된 FedCTR 프레임워크는 특히 플랫폼 내 행동 데이터가 부족한 상황에서 다중 플랫폼 사용자 행동 데이터를 효과적으로 융합함으로써 뛰어난 클릭률 예측 성능을 달성한다.
• 사용자 임베딩과 광고 특성 간의 내적곱 상호작용 레이어가 FM, 밀집층, 외적곱 메커니즘보다도 더 뛰어난 클릭률 예측 성능을 보였다.
• 어텐션 기반 집계기법은 평균 풀링, 최대 풀링, 연결 기법보다도 성능을 크게 향상시켰으며, 각 플랫폼의 로컬 임베딩 기여도의 정보성(정보량)을 효과적으로 모델링하기 때문이다.
• 중간 정도의 LDP 파라미터(λ_LDP = 0.01)와 DP 파라미터(λ_DP = 0.005)를 적용할 경우, 개인정보 보호와 예측 정확도 사이에 균형 잡힌 강력한 성능을 달성한다.
• 로컬 임베딩보다 집계된 사용자 임베딩이 더 복잡하게 뒤집히기 어려워, 집계 과정이 플랫폼별 행동 패tern을 흐리게 하여 개인정보 보호를 강화함을 시사한다.