[논문 리뷰] Federated Learning with Personalization Layers

Manoj Ghuhan Arivazhagan, Vinay K. Aggarwal외 2명|arXiv (Cornell University)|2019. 12. 02.

Privacy-Preserving Technologies in Data참고 문헌 10인용 수 517

한 줄 요약

FedPer는 글로벌 base 레이어와 로컬 personaliz​ation 레이어의 계층 구조를 도입하여 연합학습을 수행하며, FedAvg로 학습된 글로벌 베이스 레이어와 기기에서 학습되는 로컬 개인화 레이어를 통해 통계적 이질성을 해결하고, FedAvg에 비해 비 IID CIFAR 파티션 및 Flickr-AES에서 성능이 향상되는 것을 보여준다.

ABSTRACT

The emerging paradigm of federated learning strives to enable collaborative training of machine learning models on the network edge without centrally aggregating raw data and hence, improving data privacy. This sharply deviates from traditional machine learning and necessitates the design of algorithms robust to various sources of heterogeneity. Specifically, statistical heterogeneity of data across user devices can severely degrade the performance of standard federated averaging for traditional machine learning applications like personalization with deep learning. This paper pro-posesFedPer, a base + personalization layer approach for federated training of deep feedforward neural networks, which can combat the ill-effects of statistical heterogeneity. We demonstrate effectiveness ofFedPerfor non-identical data partitions ofCIFARdatasetsand on a personalized image aesthetics dataset from Flickr.

연구 동기 및 목표

• 연합학습에서 개인화 작업에 대한 통계적 이질성의 도전을 동기화합니다.
• 사용자 고유 정보를 모델링하기 위한 base + personalization 레이어 모델을 제안합니다.
• base 레이어에 대해 FedAvg를, 개인화 레이어에 대해 로컬 SGD를 결합한 FedPer 알고리즘을 개발합니다.
• 비동일하게 파티션된 CIFAR 데이터셋 및 Flickr-AES 데이터셋에서 효과를 입증합니다.

제안 방법

• 공유된 base 레이어와 클라이언트 특화 개인화 레이어를 갖는 신경망을 정의합니다.
• base 레이어를 글로벌하게 FedAvg로 학습; 개인화 레이어를 각 기기에서 로컬로 학습합니다.
• 서버는 베이스 레이어 가중치를 클라이언트 가중 평균으로 집계하고, 개인화 레이어는 기기에 남깁니다.
• 글로벌 집계 사이에 base와 personalization 레이어를 업데이트하기 위해 SGD를 사용합니다.
• 비 IID 데이터 파티션과 다양한 개인화 레이어 구성에서 평가합니다.

실험 결과

연구 질문

• RQ1 비동일한 데이터 파티션 하에서 개인화 레이어가 연합학습 성능에 어떤 영향을 미치는가?
• RQ2 정확도와 공정성에 대한 개인화 레이어의 수가 미치는 영향은 무엇인가?
• RQ3 개인화 레이어가 사용자 특정 측면을 포착할 때도 베이스 레이어는 의미 있는 표현을 여전히 학습하는가?
• RQ4 CIFAR-10/100, Flickr-AES와 같은 데이터셋에서 FedPer는 표준 FedAvg와 어떻게 비교되는가?
• RQ5 FedPer 모델은 중앙 집중식 데이터 공유 없이도 개인화를 할 수 있는가?

주요 결과

• FedPer는 이질적 데이터 파티션 하에서 FedAvg보다 더 빠르게 수렴하고 클라이언트 평균 테스트 정확도가 더 높다.
• FedPer는 클라이언트 간 성능 변동을 줄여 사용자 간 공정성을 개선한다.
• Flickr-AES 개인화 작업에서 FedAvg는 성능이 저조하지만 FedPer는 개인화 레이어를 통해 사용자 선호를 포착한다.
• 개인화 레이어를 늘리는 것이 일반적으로 도움이 되며 dataset 및 아키텍처에 따라 영향이 다르다.
• 라운드 간 개인화 레이어를 미세조정하면 일부 설정(CIFAR-100)에서 클라이언트 성능을 더 향상시킬 수 있지만 Flickr-AES에서는 혼합 결과를 보인다.