[논문 리뷰] Privacy-Preserving News Recommendation Model Training via Federated Learning.

Tao Qi, Fangzhao Wu외 3명|arXiv (Cornell University)|2020. 03. 21.

Privacy-Preserving Technologies in Data인용 수 11

한 줄 요약

이 논문은 사용자 행동 데이터가 중앙 서버에 저장되지 않고 로컬 기기에서만 유지되는 연합 학습 기반의 프라이버시 보장 뉴스 추천 프레임워크를 제안한다. 사용자는 로컬에서 계산된 기울기(차별적 보호를 적용한)만 중앙 서버에 업로드하며, 이를 통해 글로벌 모델을 집계한다. 중앙 집중식 사용자 데이터 저장 없이도 정확한 추천 성능을 달성하면서 프라이버시 보호 수준을 크게 향상시킨다.

ABSTRACT

News recommendation aims to display news articles to users based on their personal interest. Existing news recommendation methods rely on centralized storage of user behavior data for model training, which may lead to privacy concerns and risks due to the privacy-sensitive nature of user behaviors. In this paper, we propose a privacy-preserving method for news recommendation model training based on federated learning, where the user behavior data is locally stored on user devices. Our method can leverage the useful information in the behaviors of massive number users to train accurate news recommendation models and meanwhile remove the need of centralized storage of them. More specifically, on each user device we keep a local copy of the news recommendation model, and compute gradients of the local model based on the user behaviors in this device. The local gradients from a group of randomly selected users are uploaded to server, which are further aggregated to update the global model in the server. Since the model gradients may contain some implicit private information, we apply local differential privacy (LDP) to them before uploading for better privacy protection. The updated global model is then distributed to each user device for local model update. We repeat this process for multiple rounds. Extensive experiments on a real-world dataset show the effectiveness of our method in news recommendation model training with privacy protection.

연구 동기 및 목표

• 민감한 사용자 행동 데이터를 저장하는 중앙 집중식 뉴스 추천 시스템에서 발생하는 프라이버시 리스크를 해결하기 위해.
• 중앙 서버에 사용자 행동 데이터를 수집하거나 저장하지 않고도 정확한 뉴스 추천 모델 훈련을 가능하게 하기 위해.
• 업로드하기 전에 모델 기울기에 국지적 차별적 보장(LDP)을 적용하여 사용자 프라이버시를 보호하기 위해.
• 연합 집계를 통한 반복적 글로벌 모델 업데이트를 통해 모델 성능을 유지하기 위해.
• 실세계 환경에서 프라이버시 보장 뉴스 추천을 위한 연합 학습의 타당성과 효과성을 입증하기 위해.

제안 방법

• 각 사용자 기기에서는 뉴스 추천 모델의 로컬 복제본을 유지하고, 로컬 사용자 행동 데이터 기반으로 모델 기울기를 계산한다.
• 사용자 중 무작위 부분 집합이 자신의 로컬에서 계산된 기울기를 중앙 서버에 업로드하여 집계한다.
• 잠재적 프라이버시 泄露를 방지하기 위해 업로드 전에 기울기에 국지적 차별적 보장(LDP)을 적용한다.
• 차별적 보장이 적용된 기울기를 집계하여 글로벌 추천 모델을 업데이트한다.
• 업데이트된 글로벌 모델을 다시 모든 사용자 기기로 배포하여 로컬 모델 재훈련을 수행한다.
• 여러 라운드에 걸쳐 반복하여 모델 정확도를 향상시키면서도 사용자 프라이버시를 유지하는 과정을 수행한다.

실험 결과

연구 질문

• RQ1 중앙 집중식 사용자 데이터 저장 없이도 연합 학습이 정확한 뉴스 추천 모델을 훈련하는 데 효과적으로 적용될 수 있는가?
• RQ2 모델 기울기에 국지적 차별적 보장(LDP)을 적용할 경우 추천 시스템의 성능과 프라이버시에 어떤 영향을 미치는가?
• RQ3 뉴스 추천의 연합 학습 환경에서 프라이버시 보호와 추천 정확도 사이의 상호 교환 관계는 어떠한가?
• RQ4 대규모 사용자 수와 다양한 사용자 행동에 비추어 볼 때 제안된 방법은 어떻게 확장 가능한가?
• RQ5 사용자 행동 데이터가 기기 내부에 유지된 상태에서 시스템이 높은 추천 성능을 유지를 할 수 있는가?

주요 결과

• 제안된 연합 학습 프레임워크는 중앙 집중 훈련 방법과 비교해도 경쟁 가능한 뉴스 추천 정확도를 달성한다.
• 기울기에 국지적 차별적 보장을 적용함으로써 사용자 프라이버시를 효과적으로 보호하면서도 모델 성능이 크게 떨어지지 않는다.
• LDP에 의해 요구되는 노이즈 주입에도 불구하고 시스템은 높은 모델 유틸리티를 유지하며 강건성을 입증한다.
• 훈련 과정 全주기 동안 사용자 행동 데이터가 로컬 기기에서만 유지되어 중앙 집중식 데이터 유출 위험을 제거한다.
• 실세계 데이터셋을 대상으로 한 광범위한 실험을 통해 본 방법이 프라이버시와 추천 정확도의 균형을 효과적으로 달성함을 확인한다.
• 반복적인 연합 훈련 과정이 여러 라운드에 걸쳐 고성능 글로벌 모델로 수렴하는 데 성공한다.