[논문 리뷰] FedRec: Privacy-Preserving News Recommendation with Federated Learning

Tao Qi, Fangzhao Wu외 3명|arXiv (Cornell University)|2020. 03. 21.

Privacy-Preserving Technologies in Data참고 문헌 18인용 수 18

한 줄 요약

FedRec는 사용자 기기에서 로컬으로 모델을 훈련하면서 로컬 차별적 비밀리성(LDP)을 통해 프라이버시를 보존하는 연합학습 기반 뉴스 추천 시스템을 제안한다. LDP로 보호된 로컬에서 계산된 기울기를 집계하고 글로벌 모델을 반복적으로 업데이트함으로써, 민감한 사용자 행동 데이터를 중앙집중적으로 저장하지 않으면서도 정확한 추천 성능을 달성한다.

ABSTRACT

News recommendation aims to display news articles to users based on their personal interest. Existing news recommendation methods rely on centralized storage of user behavior data for model training, which may lead to privacy concerns and risks due to the privacy-sensitive nature of user behaviors. In this paper, we propose a privacy-preserving method for news recommendation model training based on federated learning, where the user behavior data is locally stored on user devices. Our method can leverage the useful information in the behaviors of massive users to train accurate news recommendation models and meanwhile remove the need to centralized storage of them. More specifically, on each user device we keep a local copy of the news recommendation model, and compute gradients of the local model based on the user behaviors in this device. The local gradients from a group of randomly selected users are uploaded to server, which are further aggregated to update the global model in the server. Since the model gradients may contain some implicit private information, we apply local differential privacy (LDP) to them before uploading for better privacy protection. The updated global model is then distributed to each user device for local model update. We repeat this process for multiple rounds. Extensive experiments on a real-world dataset show the effectiveness of our method in news recommendation model training with privacy protection.

연구 동기 및 목표

• 민감한 사용자 행동 데이터를 저장하는 중앙집중식 뉴스 추천 시스템에서 발생하는 프라이버시 위험을 해결하기 위해.
• 사용자 행동 로그를 수집하거나 중앙집중화하지 않고도 정확한 뉴스 추천을 가능하게 하기 위해.
• 업로드하기 전에 모델 기울기에 로컬 차별적 비밀리성(LDP)을 적용하여 사용자 프라이버시를 보호하기 위해.
• 사용자가 로컬에서 모델을 훈련하고 업데이트하면서 글로벌 모델에 기여하는 연합학습 프레임워크를 설계하기 위해.
• 실제 환경에서 추천 정확도와 프라이버시 보호 간의 상호 교환 관계를 평가하기 위해.

제안 방법

• 각 사용자 기기는 뉴스 추천 모델의 로컬 복제본을 유지하고, 로컬 사용자 행동 데이터 기반으로 기울기를 계산한다.
• 랜덤으로 선택된 사용자 집단이 자신의 로컬에서 계산된 기울기를 중앙 서버로 업로드하여 집계한다.
• 사용자 행동에 대한 잠재적 추론을 방지하기 위해, 업로드 전에 기울기에 로컬 차별적 비밀리성(LDP)을 적용한다.
• 서버는 비밀리성 보장된 기울기를 집계하여 글로벌 추천 모델을 업데이트한다.
• 업데이트된 글로벌 모델은 다시 모든 사용자 기기로 전송되어 로컬 모델 재훈련을 위해 사용된다.
• 다양한 라운드에 걸쳐 이 과정을 반복함으로써, 사용자 프라이버시를 유지하면서 모델 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 중앙집중식 사용자 행동 데이터를 저장하지 않고도 정확한 뉴스 추천 모델을 효과적으로 훈련시킬 수 있는가?
• RQ2 모델 기울기에 로컬 차별적 비밀리성(LDP)을 적용할 경우, 추천 정확도와 프라이버시 보장에 어떤 영향을 미치는가?
• RQ3 제안된 FedRec 시스템의 추천 품질 측면에서 중앙집중식 기준 모델 대비 성능은 어떠한가?
• RQ4 사용자 수 증가 및 LDP의 프라이버시 예산 수준 변화에 따라 시스템의 확장성은 어떻게 되는가?
• RQ5 FedRec의 반복적 모델 업데이트 과정이 수렴을 이끌고 추천 효과성을 향상시키는가?

주요 결과

• FedRec는 중앙집중식 기준 모델과 비교해 경쟁적인 뉴스 추천 정확도를 달성하여, 기울기 집계를 통한 로컬 훈련이 효과적인 모델을 생성할 수 있음을 보여준다.
• 기울기에 로컬 차별적 비밀리성(LDP)을 적용함으로써 사용자 프라이버시가 크게 향상되었으며, 모델 성능은 크게 떨어지지 않았다.
• 실제 데이터셋을 기반으로 한 표준 평가 지표로 측정했을 때, 강력한 프라이버시 제약 조건 하에서도 시스템은 높은 추천 품질을 유지한다.
• 반복적인 연합 훈련 과정을 통해 다수의 라운드에 걸쳐 글로벌 모델이 안정적으로 수렴한다.
• 이 방법은 민감한 사용자 행동 데이터의 중앙집중적 저장이 필요 없음을 효과적으로 보여주며, 주요 프라이버시 위험을 완화한다.