[논문 리뷰] Federated Recommendation with Additive Personalization

Zhiwei Li, Guodong Long외 1명|arXiv (Cornell University)|2023. 01. 22.

Privacy-Preserving Technologies in Data인용 수 7

한 줄 요약

FedRAP는 전역 항목 임베딩과 사용자별 추가 개인화를 조합하여 개인화를 향상시키고 통신 비용을 줄이는 분산 추천 프레임워크를 제안한다. 점진적으로 정규화를 도입하고 전역 임베딩에 희소성 조건을 부여함으로써 FedRAP은 여섯 가지 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Building recommendation systems via federated learning (FL) is a new emerging challenge for advancing next-generation Internet service and privacy protection. Existing approaches train shared item embedding by FL while keeping the user embedding private on client side. However, item embedding identical for all clients cannot capture users' individual differences on perceiving the same item and thus leads to poor personalization. Moreover, dense item embedding in FL results in expensive communication cost and latency. To address these challenges, we propose Federated Recommendation with Additive Personalization (FedRAP), which learns a global view of items via FL and a personalized view locally on each user. FedRAP enforces sparsity of the global view to save FL's communication cost and encourages difference between the two views through regularization. We propose an effective curriculum to learn the local and global views progressively with increasing regularization weights. To produce recommendations for an user, FedRAP adds the two views together to obtain a personalized item embedding. FedRAP achieves the best performance in FL setting on multiple benchmarks. It outperforms recent federated recommendation methods and several ablation study baselines.

연구 동기 및 목표

• 기존 분산 추천 시스템이 동일한 전역 항목 임베딩을 사용하여 사용자별 항목 인식을 포착하지 못하는 한계를 해결하기 위해.
• 전역 항목 임베딩 행렬의 희소성 조건을 통해 분산 학습에서의 통신 오버헤드를 줄이기 위해.
• 보완적인 이중 뷰 임베딩 기반 구조를 통해 전역 지식 공유와 국지적 개인화의 균형을 이루기 위해.
• 조기 학습 단계에서 조기 추가 개인화로 인한 성능 저하를 완화하기 위해.
• 사용자 데이터와 개인화된 임베딩을 로컬에 유지하면서 오직 압축된 전역 임베딩만 공유함으로써 기밀성 보장 추천을 가능하게 하기 위해.

제안 방법

• FedRAP는 전역 공유 희소 행렬 C와 사용자별 밀도 높은 행렬 D^(i)의 합으로 항목 임베딩을 모델링하여 추가 개인화를 구현한다.
• 전역 임베딩의 비제로 매개변수 수를 최소화함으로써 통신 비용을 줄이기 위해 C에 희소성 정규화를 적용한다.
• C와 D^(i) 간의 다양성을 강제함으로써 두 뷰가 상호 중복되지 않도록 보완 정규화를 적용한다.
• 커리큘럼 학습 전략을 통해 정규화 가중치를 점진적으로 증가시켜, 처음에는 완전한 개인화에서 시작하여 점차 추가 개인화로 전환함으로써 조기 성능 저하를 방지한다.
• 모델은 각 클라이언트에서 사용자별 평가를 기반으로 로컬로 학습하고, 서버 집계를 통해 C를 업데이트함으로써 사용자 데이터 기밀성을 유지한다.
• 차별적 프라이버시를 적용하기 위해, 오직 C에만 가우시안 노이즈를 추가함으로써 성능 저하를 최소화하면서도 기밀성 보장을 확보한다.

실험 결과

연구 질문

• RQ1 추가 개인화된 항목 임베딩가 분산 환경에서 추천 성능을 향상시키고 사용자 기밀성을 유지할 수 있는가?
• RQ2 전역 항목 임베딩 행렬 C에 희소성 조건을 적용할 경우, 통신 효율성과 모델 성능에 어떤 영향을 미치는가?
• RQ3 점진적으로 추가 개인화를 도입하는 커리큘럼 학습 전략이 수렴 성능 향상과 조기 성능 저하 방지를 위해 효과적인가?
• RQ4 전역 및 국지 임베딩 간의 희소성과 다양성에 대한 보완 정규화가 모델 일반화에 어떤 영향을 미치는가?
• RQ5 FedRAP은 전체 모델 노이즈 주입과 비교해 차별적 프라이버시 제약 조건 하에서도 어느 정도 성능을 유지하는가?

주요 결과

• FedRAP은 여섯 개의 실세계 벤치마크에서 최신 기술 수준의 분산 추천 방법을 초월하여 HR@10과 NDCG@10 점수를 최고로 기록했다.
• 제거 분석 결과, 희소성 정규화가 기준 대비 C의 비제로 매개변수 수를 15.5% 감소시켜 통신 비용을 크게 낮추는 것으로 확인되었다.
• 커리큘럼 학습을 적용한 FedRAP는 차별적 프라이버시 하에서 4.09%에서 9.93%의 성능 저하를 보였으며, 이는 전체 모델 노이즈 주입보다 훨씬 낮은 수준이었다.
• C와 D^(i)의 시각화 결과, FedRAP는 FedRAP-L2 대비 더 희소한 전역 임베딩(4.19%의 C > 1e-1)을 학습함을 확인하여 효과적인 희소성 강제 조건이 성립함을 입증했다.
• 노이즈 주입 조건 하에서도 모델 성능이 강력하게 유지됨을 통해, 차별적 프라이버시를 적용할 때 오직 C만 업데이트하는 것이 기밀성 보호에 충분하고 효과적임을 보여주었다.
• 제거 분석 결과, 조기 추가 개인화가 성능 저하를 유발함을 확인하여 커리큘럼 학습 전략의 필요성을 입증했다.