[논문 리뷰] Privacy-Preserving News Recommendation Model Learning

Tao Qi, Fangzhao Wu외 3명|arXiv (Cornell University)|2020. 03. 21.

Privacy-Preserving Technologies in Data참고 문헌 26인용 수 10

한 줄 요약

이 논문은 사용자 행동 데이터를 중앙 집중화하지 않고도 개인 정보를 보호하는 데 중점을 둔 페더레이티드 러닝 기반 프레임워크인 FedNewsRec을 제안한다. 모델 그래디언트에 국소적 차별적 프라이버시를 적용하여 집계 과정에서 강력한 프라이버시 보호를 달성하면서도 실제 데이터에서 경쟁적인 추천 정확도를 유지한다.

ABSTRACT

News recommendation aims to display news articles to users based on their personal interest. Existing news recommendation methods rely on centralized storage of user behavior data for model training, which may lead to privacy concerns and risks due to the privacy-sensitive nature of user behaviors. In this paper, we propose a privacy-preserving method for news recommendation model training based on federated learning, where the user behavior data is locally stored on user devices. Our method can leverage the useful information in the behaviors of massive number users to train accurate news recommendation models and meanwhile remove the need of centralized storage of them. More specifically, on each user device we keep a local copy of the news recommendation model, and compute gradients of the local model based on the user behaviors in this device. The local gradients from a group of randomly selected users are uploaded to server, which are further aggregated to update the global model in the server. Since the model gradients may contain some implicit private information, we apply local differential privacy (LDP) to them before uploading for better privacy protection. The updated global model is then distributed to each user device for local model update. We repeat this process for multiple rounds. Extensive experiments on a real-world dataset show the effectiveness of our method in news recommendation model training with privacy protection.

연구 동기 및 목표

• 뉴스 추천 시스템에서 사용자 행동 데이터의 중앙 집중 저장으로 인한 프라이버시 리스크를 해결하기 위해.
• 중앙 서버에 사용자 행동 데이터를 수집하거나 저장하지 않고도 정확한 뉴스 추천 모델의 공동 학습을 가능하게 하기 위해.
• 페더레이티드 학습 중 교환되는 모델 그래디언트에 국소적 차별적 프라이버시를 적용하여 사용자 프라이버시를 보호하기 위해.
• 실제 환경에서 프라이버시 보호와 추천 성능 간의 트레이드오프를 평가하기 위해.

제안 방법

• 사용자가 개인 행동 데이터를 기반으로 기기 내에서 뉴스 추천 모델의 복제본을 로컬으로 저장하고 학습한다.
• 각 사용자는 자신의 로컬 행동 데이터를 기반으로 로컬 모델 그래디언트를 계산하고 이를 중앙 서버에 업로드한다.
• 서버는 무작위로 선택된 사용자 집합의 그래디언트를 집계하여 글로벌 추천 모델을 업데이트한다.
• 업로드 전에 그래디언트에 라플라스 노이즈를 추가하여 국소적 차별적 프라이버시를 적용하며, 이는 파라미터 λ와 δ로 제어된다.
• 업데이트된 글로벌 모델은 모든 사용자에게 재배포되어 로컬 모델 업데이트를 위한 반복 학습 과정이 반복된다.
• 사용자 모델은 최근 클릭을 기반으로 한 GRU를 통해 단기적 관심을, 클릭된 뉴스 간 임베딩 유사도를 통해 장기적 관심을 모델링한다.

실험 결과

연구 질문

• RQ1 중앙 집중화된 사용자 행동 데이터 없이도 정확한 뉴스 추천 모델을 효과적으로 학습시킬 수 있는 페더레이티드 러닝 프레임워크가 가능한가?
• RQ2 모델 그래디언트에 국소적 차별적 프라이버시를 적용할 경우 추천 성능와 프라이버시 보장에 어떤 영향을 미치는가?
• RQ3 개인 정보 보호 환경에서 단기 및 장기 사용자 관심 모델링의 영향은 무엇인가?
• RQ4 다양한 LDP 파라미터에서 프라이버시 보호(ε 기반)와 추천 성능 간의 트레이드오프는 어떠한가?

주요 결과

• 제안된 FedNewsRec 프레임워크는 실제 데이터셋에서 최신의 중심 집중식 방법과 비교해 유사한 추천 성능을 달성한다.
• 그래디언트에 국소적 차별적 프라이버시를 적용함으로써 사용자 프라이버시를 효과적으로 보호할 수 있으며, 더 낮은 ε 값일수록 더 강력한 프라이버시 보장을 의미한다.
• 성능은 λ가 높아질수록 감소하고, δ가 더 크면 향상되며, 이는 프라이버시와 정확도 사이의 트레이드오프를 나타낸다.
• 다양한 사용자 선택 비율(r)에 관계없이 약 1,500개의 학습 라운드 내에 모델 수렴이 이루어진다.
• 단기 또는 장기 사용자 임베딩 구성 요소를 제거할 경우 성능 저하가 명확하게 관찰되어, 사용자 선호도를 포괄하는 데 효과적임을 확인한다.
• 제거 실험 결과, 제안된 프레임워크에서 높은 추천 정확도를 달성하기 위해 단기 및 장기 관심 모델링이 모두 필수적임을 확인한다.