[논문 리뷰] Think Locally, Act Globally: Federated Learning with Local and Global Representations

Paul Pu Liang, Terrance Liu외 6명|arXiv (Cornell University)|2020. 01. 06.

Privacy-Preserving Technologies in Data인용 수 238

한 줄 요약

LG-FedAvg를 제안하는 연합학습 프레임워크로, 데이터 이질성 및 공정성을 다루면서 통신 비용을 줄이기 위해 컴팩트한 로컬 표현과 글로벌 모델을 함께 학습합니다. 비전, 다중모달, 모바일 데이터 작업 전반에 걸친 이론과 광범위한 실험을 제공합니다.

ABSTRACT

Federated learning is a method of training models on private data distributed over multiple devices. To keep device data private, the global model is trained by only communicating parameters and updates which poses scalability challenges for large models. To this end, we propose a new federated learning algorithm that jointly learns compact local representations on each device and a global model across all devices. As a result, the global model can be smaller since it only operates on local representations, reducing the number of communicated parameters. Theoretically, we provide a generalization analysis which shows that a combination of local and global models reduces both variance in the data as well as variance across device distributions. Empirically, we demonstrate that local models enable communication-efficient training while retaining performance. We also evaluate on the task of personalized mood prediction from real-world mobile data where privacy is key. Finally, local models handle heterogeneous data from new devices, and learn fair representations that obfuscate protected attributes such as race, age, and gender.

연구 동기 및 목표

• 비개인적이며 분산된 데이터에서 비-i.i.d. 분포를 가지는 효율적인 연합학습의 필요성을 촉진한다.
• 통신을 줄이기 위해 로컬 표현과 글로벌 모델을 함께 학습하는 프레임워크를 제안한다.
• 로컬과 글로벌 모델의 결합이 일반화에 주는 이점을 이론적으로 분석한다.
• 이미지, 다중모달 및 개인 정보 보호가 고려된 모바일 데이터 세트에서 접근법을 실증적으로 검증한다.
• 개인화, 새로운 디바이스 처리, 공정한 표현 학습에서의 역량을 보여준다.

제안 방법

• 로컬 표현을 디바이스에서 함께 학습하고 이를 이용하는 글로벌 모델이 작동하는 Local Global Federated Averaging(LG-FedAvg)을 도입한다.
• 로컬 인코더 l_m의 매개변수 θ_m^ℓ와 글로벌 모델 g의 매개변수 θ^g를 정의하고, 로컬 및 글로벌 구성 요소를 연결하는 글로벌 손실 L_m^g를 통해 엔드-투-엔드로 학습한다.
• FedAvg와 같이 데이터 비율 N_m/N으로 가중 평균을 통해 디바이스 간 업데이트된 글로벌 매개변수를 집계한다.
• 로컬 표현 학습 옵션(지도 레이블 y, 비지도 x, 또는 자기지도 z)과 공정성을 위한 적대적 확장을 설명한다.
• 글로벌 목표를 통해 디바이스 간 로컬 표현을 동기화하는 엔드투엔드 목표를 제공한다.
• 로컬과 글로벌 모델 f_α(x; v̂, û_m)의 α-보간을 제시하고 일반화 동작을 도출한다.

실험 결과

연구 질문

• RQ1 로컬 디바이스에서 컴팩트한 로컬 표현을 학습하는 것이 글로벌 통신을 줄이면서 예측 성능을 유지하거나 향상시킬 수 있는가?
• RQ2 로컬 및 글로벌 모델의 결합이 데이터 및 디바이스 이질성으로 인한 분산에 어떤 영향을 미치는가?
• RQ3 LG-FedAvg가 미보신 디바이스 및 이질적인 데이터를 purely local 또는 purely global 방법보다 더 잘 처리할 수 있는가?
• RQ4 로컬 표현을 보호 속성을 은폐하도록 조정하여 공정성을 촉진할 수 있는가?
• RQ5 장치 및 데이터 분산의 다양한 수준에 대해 로컬/글로벌 구성요소 간 최적의 균형은 무엇인가?

주요 결과

• LG-FedAvg는 CIFAR-10에서 로컬 테스트에서 순수 로컬 또는 순수 글로벌 기준선보다 우수하고 신규 테스트에서도 FedAvg 성능에 미치면서도 약 50%의 통신 파라미터를 절감한다.
• 비-iid 분할이 있는 CIFAR-10에서 LG-FedAvg는 FedAvg 및 다중 작업 기준선보다 일관되게 우수하며 특히 디바이스 분산이 증가할수록 강력하다.
• VQA에서 LG-FedAvg은 로컬-테스트 정확도를 더 높게 달성하고 전달되는 파라미터를 크게 줄인다(9.99e10 대비 13.97e10).
• 실세계 모바일 기분 예측 작업에서 로컬-글로벌 α-분할은 양 끝과 비교해 정확도에서 뛰어나 개인화와 공유 학습의 효과를 보인다.
• 새로운 회전 MNIST 디바이스가 등장했을 때 LG-FedAvg는 흑백망각을 줄여 온라인 적응에서 FedAvg 및 FedProx보다 우수한 성능을 보인다.
• 공격적(adv) 학습을 통한 LG-FedAvg은 보호 속성과의 독립성을 강화할 수 있어 분류기 정확도에서 약간의 하락을 감수하더라도 프라이버시를 개선한다.