[논문 리뷰] Three Approaches for Personalization with Applications to Federated Learning

Yishay Mansour, Mehryar Mohri외 2명|arXiv (Cornell University)|2020. 02. 25.

Privacy-Preserving Technologies in Data참고 문헌 55인용 수 320

한 줄 요약

이 논문은 연합학습에서 개인화에 대한 학습 이론적 프레임워크를 개발하고, 세 가지 실용적 접근—사용자 클러스터링, 데이터 보간, 모델 보간—에 대한 보장과 효율적 알고리즘, 그리고 실험적 검증을 분석한다.

ABSTRACT

The standard objective in machine learning is to train a single model for all users. However, in many learning scenarios, such as cloud computing and federated learning, it is possible to learn a personalized model per user. In this work, we present a systematic learning-theoretic study of personalization. We propose and analyze three approaches: user clustering, data interpolation, and model interpolation. For all three approaches, we provide learning-theoretic guarantees and efficient algorithms for which we also demonstrate the performance empirically. All of our algorithms are model-agnostic and work for any hypothesis class.

연구 동기 및 목표

• FL에서 순수하게 로컬 또는 글로벌 모델의 중간 대안으로 개인화를 동기를 부여한다.
• 각 개인화 접근법에 대한 학습 이론적 보장(일반화 경계)을 제공한다.
• 클러스터링, 데이터 보간, 모델 보간을 위한 효율적이며 통신 및 계산 친화적인 알고리즘을 개발한다.
• 합성 데이터와 EMNIST 데이터셋에서 실험적 성능 향상을 입증한다.

제안 방법

• 세 가지 직교적 개인화 전략을 제안한다: 사용자 클러스터링(HypCluster), 데이터 보간(Dapper), 모델 보간(Mapper).
• 클러스터링의 경우 가설 기반 클러스터링을 정의하고 일반화 경계를 도출하며, HypCluster를 EM형 확률적 알고리즘으로 제시한다.
• 데이터 보간의 경우 로컬 데이터와 클러스터/글로벌 데이터 간의 lambda 가중치 혼합을 공식화하고 일반화 보장을 도출하며, 강볼록성 하에서 수렴을 입증하는 Dapper를 도입한다.
• 모델 보간의 경우 중앙 모델과 로컬 모델을 학습하고 클라이언트 간 보간된 예측을 최적화하며, 경험적 손실과 진짜 손실에 대한 이론적 경계(정리 6.1 및 보조정리들) 제공한다.
• 통신 비용, 프라이버시 고려사항, FL 설정으로의 확장성에 초점을 둔 효율성 분석을 제공한다.

실험 결과

연구 질문

• RQ1 로컬 및 글로벌 모델 사이의 중간 모델로 개인화를 달성하면서 통신 효율성을 유지하려면 어떻게 해야 하는가?
• RQ2 클러스터링 기반, 데이터 보간, 모델 보간 개인화 전략의 일반화 보장은 무엇인가?
• RQ3 FL 제약 및 데이터 이질성 하에서 잘 작동하는 확장 가능한 알고리즘을 어떻게 설계할 수 있는가?
• RQ4 이러한 접근법이 현실적인 연합 데이터셋에서 어떤 실질적 이점을 제공하는가?

주요 결과

• 세 가지 개인화 접근법이 이론적 일반화 보장과 FL에 대한 실용적 알고리즘을 제공한다.
• HypCluster(사용자 클러스터링)은 작은 클러스터 수에서도 우호적인 일반화 경계와 강력한 실험적 성능을 제공한다.
• 데이터 보간(Dapper)은 로컬 데이터와 글로벌 데이터 간의 lambda 가중치를 통해 효율적인 통신과 견고한 수렴을 달성한다.
• 모델 보간(Mapper)은 중앙 및 로컬 모델 간의 원칙적 보간을 통해 경쟁력 있는 성능과 함께 이론적 경계를 제공한다.
• EMNIST 실험에서 두 개의 클러스터를 가진 HypCluster가 FedAvg 및 Agnostic 베이스라인을 크게 능가하며 정확도에서 최소 4.3%의 향상을 보이고, Dapper/Mapper 변형으로 추가로 약 1%의 이득을 얻는다.