[논문 리뷰] FedSPLIT: One-Shot Federated Recommendation System Based on Non-negative Joint Matrix Factorization and Knowledge Distillation

Maksim E. Eren, Luke E. Richards외 4명|arXiv (Cornell University)|2022. 05. 04.

Recommender Systems and Techniques인용 수 8

한 줄 요약

FedSPLIT은 비음수 행렬 분해(NMF)와 지식 정복을 사용하여, 단일 라운드의 클라이언트-서버 통신만으로도 개인정보 보호 및 통신 효율성을 확보하는 최초의 원샷(fedSPLIT) 연합 협업 필터링 추천 시스템을 제안한다. 이는 기존의 다중 라운드 연합 방법에 비해 통신 비용을 크게 줄이며, 기준 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Non-negative matrix factorization (NMF) with missing-value completion is a well-known effective Collaborative Filtering (CF) method used to provide personalized user recommendations. However, traditional CF relies on the privacy-invasive collection of users' explicit and implicit feedback to build a central recommender model. One-shot federated learning has recently emerged as a method to mitigate the privacy problem while addressing the traditional communication bottleneck of federated learning. In this paper, we present the first unsupervised one-shot federated CF implementation, named FedSPLIT, based on NMF joint factorization. In our solution, the clients first apply local CF in-parallel to build distinct client-specific recommenders. Then, the privacy-preserving local item patterns and biases from each client are shared with the processor to perform joint factorization in order to extract the global item patterns. Extracted patterns are then aggregated to each client to build the local models via knowledge distillation. In our experiments, we demonstrate the feasibility of our approach with standard recommendation datasets. FedSPLIT can obtain similar results than the state of the art (and even outperform it in certain situations) with a substantial decrease in the number of communications.

연구 동기 및 목표

• 기존의 중심화된 협업 필터링 추천 시스템에서 발생하는 개인정보 유출 및 통신 병목 현상을 해결하기 위해.
• 지연 시간과 데이터 전송을 줄이기 위해 단일 통신 라운드(원샷)로 작동하는 연합 추천 프레임워크를 개발하기 위해.
• 사용자-아이템 상호작용 데이터를 직접 공유하지 않고도 사용자 프라이버시를 보호하기 위해, 잠재 요인과 편향만을 공유하기 위해.
• 전역적으로 공유된 아이템 패턴을 활용해 지식 정복을 통해 로컬 모델 성능을 향상시키기 위해.
• 표준 추천 데이터셋에서 방법을 평가하고, 통신 효율성과 프라이버시 보호 능력을 입증하기 위해.

제안 방법

• 클라이언트는 자체 사용자-아이템 평점 행렬에 대해 국지적 비음수 행렬 분해(NMF)를 수행하여 클라이언트 전용 추천 엔진을 구축한다.
• 각 클라이언트는 원시 사용자 데이터를 공유하지 않고, 개인정보 보호를 위한 잠재 아이템 요인과 편향만을 중앙 서버에 전송한다.
• 서버는 수집된 클라이언트의 아이템 요인을 종합하여 공동 NMF를 수행하여 전역적 아이템 패턴과 전역 편향을 학습한다.
• 학습된 전역적 아이템 패턴과 편향을 다시 클라이언트에게 전송하여 로컬 모델에 지식 정복을 적용한다.
• 지식 정복은 로컬 사용자 특징을 전역적 아이템 패턴과 일치시키는 복원 손실을 통해 수행되며, 이는 로컬 모델 정확도 향상에 기여한다.
• NMF를 통한 저랭크 근사화를 사용함으로써 정보 泄露를 본질적으로 제한하여 프라이버시를 강화한다.

실험 결과

연구 질문

• RQ1 협업 필터링 기반의 원샷 연합 추천 시스템을 설계하여 통신을 최소화하면서도 프라이버시를 유지할 수 있는가?
• RQ2 지식 정복과 함께 공동 NMF가 원시 사용자 데이터를 공유하지 않으면서도 로컬 모델 성능 향상에 얼마나 효과적인가?
• RQ3 FedSPLIT은 기존의 다중 라운드 연합 추천 방법에 비해 추천 정확도와 통신 효율성 측면에서 어느 정도 뛰어나게 성능을 내는가?
• RQ4 공유된 잠재 요인을 기반으로 한 추론 공격이 사용자 평점을 재구성하려 할 때 FedSPLIT의 저항성은 어떠한가?
• RQ5 FedSPLIT은 단일 사용자 클라이언트를 지원하거나, 차등 프라이버시를 추가로 적용하여 더욱 견고하게 확장할 수 있는가?

주요 결과

• FedSPLIT는 단일 통신 라운드만을 사용함에도 불구하고, 기존의 다중 라운드 연합 추천 방법과 동등하거나 더 뛰어난 추천 성능을 달성한다.
• 메시지 교환 수를 크게 줄여 통신 비용을 크게 감소시켰으며, 초기 전역 평균 계산 이후 단 한 번의 클라이언트-서버 교환만으로도 충분하다.
• 공유된 아이템 요인과 편향에서 사용자 평점을 재구성하려는 추론 공격 시 상대 오차가 높게 나타나, 저랭크 근사화로 인해 강력한 프라이버시 보호가 이루어졌음을 시사한다.
• 악성 공격자가 액세스하는 데이터 비율이 증가할수록 재구성 오차가 거의 선형적으로 증가하지만, 전체 데이터에 접근하더라도 정확한 재구성은 불가능하다.
• 결손값 보정 기능을 갖춘 비음수 행렬 분해를 사용함으로써, 명시적 사용자 데이터 공유 없이도 효과적인 협업 필터링을 구현할 수 있다.
• 클라이언트 이질성에 대해 강건하며 그룹 기반 연합 학습을 지원하지만, 단일 사용자 참여 문제는 아직 해결되지 않은 도전 과제이다.