[논문 리뷰] Federated User Representation Learning

Duc Viet Bui, Kshitiz Malik외 5명|arXiv (Cornell University)|2019. 09. 27.

Privacy-Preserving Technologies in Data참고 문헌 27인용 수 37

한 줄 요약

FURL은 모델 파라미터를 연합학습에서 연합된 부분과 개인 부분으로 분할하고, 사용자 임베딩을 디바이스에 유지하여 프라이버시를 보호하는 한편, FL에서 거의 중앙집중화된 개인화 성능을 달성합니다.

ABSTRACT

Collaborative personalization, such as through learned user representations (embeddings), can improve the prediction accuracy of neural-network-based models significantly. We propose Federated User Representation Learning (FURL), a simple, scalable, privacy-preserving and resource-efficient way to utilize existing neural personalization techniques in the Federated Learning (FL) setting. FURL divides model parameters into federated and private parameters. Private parameters, such as private user embeddings, are trained locally, but unlike federated parameters, they are not transferred to or averaged on the server. We show theoretically that this parameter split does not affect training for most model personalization approaches. Storing user embeddings locally not only preserves user privacy, but also improves memory locality of personalization compared to on-server training. We evaluate FURL on two datasets, demonstrating a significant improvement in model quality with 8% and 51% performance increases, and approximately the same level of performance as centralized training with only 0% and 4% reductions. Furthermore, we show that user embeddings learned in FL and the centralized setting have a very similar structure, indicating that FURL can learn collaboratively through the shared parameters while preserving user privacy.

연구 동기 및 목표

• 협업형 개인화와 FL의 프라이버시 챌린지를 동기 부여합니다.
• 개인 사용자 임베딩을 디바이스에 보관하는 파라미터 분할 접근법을 소개합니다.
• 분할 개인화가 성능에 손실을 주지 않는 조건을 제공합니다.
• 프라이버시를 보존하면서 FL이 중앙 집중화된 개인화와 맞먹는 성능을 낼 수 있음을 실증적으로 보여줍니다.

제안 방법

• 신경망 개인화 모델에서 federated parameters와 private parameters를 정의합니다.
• 성능 손실 없이 보장을 보장하는 split-personalization 제약(독립 로컬 학습 및 독립 집계)을 증명합니다.
• Federated Averaging과 프라이빗 파라미터 업데이트를 포함한 FURL 훈련 워크플로를 설명합니다.
• 개인 파라미터는 로컬에서 학습되고 집계 중에 디바이스에 보존됨으로써 간단히 유지될 수 있음을 보여줍니다.
• LSTM 기반 모델과 사용자 임베딩으로 두 개의 문서 분류 데이터셋을 사용해 평가합니다.
• 표준 FL에 대한 최소한의 변경으로 단순하고 확장 가능한 접근을 보여줍니다.

실험 결과

연구 질문

• RQ1 개인 사용자 임베딩에 의존하는 개인화 기술을 성능 손실 없이 FL에 적용할 수 있는가?
• RQ2 파라미터를 federated와 private 부분으로 분할하는 것이 모델 품질을 보존하는 조건은 무엇인가?
• RQ3 FURL은 정확도 및 프라이버시 보존 측면에서 중앙 집중식 학습과 어떻게 비교되는가?
• RQ4 FL에서 학습된 사용자 임베딩이 중앙에서 학습된 임베딩과 구조적으로 유사한가?

주요 결과

구성	Sticker (AUC)	Subreddit (Accuracy)
Global Server	57.75%	28.93%
Personalized Server	65.60%	66.13%
Global FL	57.24%	11.90%
Personalized FL	65.63%	62.41%

• FURL은 Sticker 데이터셋에서 8% 포인트, Subreddit 데이터셋에서 51%의 개인화로 개선을 달성합니다.
• FL에서 FURL은 동일한 데이터셋에서 0% 및 4% 감소로 중앙집중식 학습에 근접한 성능을 달성합니다.
• FL에서 학습된 사용자 임베딩은 중앙 집중식 학습에서 학습된 임베딩과 비슷한 구조를 보이며, 비슷한 사용자가 군집화되는 임베딩 시각화로 확인됩니다.
• 개인 임베딩을 통한 개인화는 서버 기반 및 FL 설정 모두에서 성능을 크게 향상시킵니다.
• FURL의 글로벌 집계 시간은 사용자 수에 따라 선형으로 확장되며, 일부 대안적 접근 방식의 이차적 확장에 비해 유리합니다.
• 훈련 과정은 private embeddings를 디바이스에 유지하고 federated parameters만 공유함으로써 프라이버시를 보존합니다.