[논문 리뷰] Federated Collaborative Filtering for Privacy-Preserving Personalized Recommendation System

Muhammad Ammad-ud-din, Elena Ivannikova외 5명|arXiv (Cornell University)|2019. 01. 29.

Privacy-Preserving Technologies in Data참고 문헌 33인용 수 215

한 줄 요약

이 논문은 서버에서 아이템 인자를 업데이트하고 클라이언트에서 사용자 인자를 업데이트하는 최초의 Federated Collaborative Filter (FCF)을 소개하며 표준 CF와 비슷한 정확도를 유지하면서 사용자 프라이버시를 보장합니다.

ABSTRACT

The increasing interest in user privacy is leading to new privacy preserving machine learning paradigms. In the Federated Learning paradigm, a master machine learning model is distributed to user clients, the clients use their locally stored data and model for both inference and calculating model updates. The model updates are sent back and aggregated on the server to update the master model then redistributed to the clients. In this paradigm, the user data never leaves the client, greatly enhancing the user' privacy, in contrast to the traditional paradigm of collecting, storing and processing user data on a backend server beyond the user's control. In this paper we introduce, as far as we are aware, the first federated implementation of a Collaborative Filter. The federated updates to the model are based on a stochastic gradient approach. As a classical case study in machine learning, we explore a personalized recommendation system based on users' implicit feedback and demonstrate the method's applicability to both the MovieLens and an in-house dataset. Empirical validation confirms a collaborative filter can be federated without a loss of accuracy compared to a standard implementation, hence enhancing the user's privacy in a widely used recommender application while maintaining recommender performance.

연구 동기 및 목표

• GDPR 유사 체계에서 프라이버시를 보장하는 개인화 추천 동기를 제시한다.
• 권고 시스템의 암시적 피드백에 대한 행렬 분해의 연합 버전을 개발한다.
• 연합 업데이트가 표준 CF의 정확도에 도달하면서도 사용자 데이터를 기기 내에 보관할 수 있음을 입증한다.
• 집계에서 클라이언트 신원을 요구하지 않는 설계에 기반한 프라이버시 중심 솔루션을 제공한다.

제안 방법

• CF를 Implicit feedback로 X (user factors)와 Y (item factors) 및 C^u라는 신뢰도 행렬을 사용해 형식화한다.
• 서버에 Y를 배치하고 각 클라이언트의 로컬 데이터로 X를 국내 업데이트한다.
• 로컬 gradient f(u,i)를 계산하고 이를 집계하여 서버에서 Y를 SGD/Adam 최적화를 통해 업데이트한다.
• 적응형 Adam 기반의 경사 하강법을 사용해 Y를 업데이트하고 CF 최적점으로의 수렴을 보장한다.
• 사용자 신원을 요구하지 않고 상호 작용을 기기 내에 보관하며 gradient를 교환함으로써 프라이버시를 보장한다.
• 신뢰수렴을 입증하고 MovieLens, 시뮬레이션 데이터 및 내부 데이터셋에서 표준 CF와 비교한다.

실험 결과

연구 질문

• RQ1 CF 모델을 사용자 상호작용 데이터를 노출하지 않고도 연합화할 수 있는가?
• RQ2 Federated Collaborative Filtering (FCF)은 비연합 CF에 비해 CF의 정확도를 보존하는가?
• RQ3 FCF의 안정적 수렴을 보장하는 학습 동학 및 하이퍼파라미터(예: 학습률, Adam 파라미터)는 무엇인가?
• RQ4 실제 및 합성 데이터에서 암시적 피드백 데이터셋에서 FCF의 성능은 어떻게 나타나는가?
• RQ5 비IID 데이터 등의 연합 학습 일반적 문제에 대해 프라이버시 보장 설계가 견고한가?

주요 결과

• FCF는 표준 CF와 같은 최적점으로 수렴하며 충분한 SGD 단계 후 차이가 0%에 근접합니다.
• MovieLens, In-House, 및 시뮬레이션 데이터에서 CF와 FCF의 성능은 거의 동일하게 나타나며 평균 차이 %가 < 0.5%입니다.
• 베이지안 상관 t-검정은 CF와 FCF가 ±0.5% 이내에서 통계적으로 동등하다는 높은 확률(≈0.999)을 보여줍니다.
• Adam 기반의 적응적 학습은 암시적 신뢰도 α 값의 폭넓은 범위에서 수렴 안정성을 제공합니다.
• FCF는 사용자 데이터를 기기 내에 보관하고 아이덴티티 정보 없이 gradient 업데이트를 집계함으로써 프라이버시를 보존합니다.