[논문 리뷰] Layer-wised Model Aggregation for Personalized Federated Learning

Xiaosong Ma, Jie Zhang외 2명|arXiv (Cornell University)|2022. 05. 09.

Privacy-Preserving Technologies in Data인용 수 11

한 줄 요약

이 논문은 비독립적 데이터(non-IID)에서 개인화를 향상시키기 위해 계층별 모델 집합을 수행하는 새로운 개인화된 피어드 페더레이티드 러닝 프레임워크인 pFedLA를 제안한다. 클라이언트 간 유사도를 기반으로 동적이고 계층 수준의 집합 가중치를 학습하는 클라이언트 전용 하이퍼넷워크를 사용함으로써, pFedLA는 EMNIST, FashionMNIST, CIFAR10, CIFAR100 데이터셋 전반에서 최신 기술보다 유의미하게 높은 정확도를 달성한다.

ABSTRACT

Personalized Federated Learning (pFL) not only can capture the common priors from broad range of distributed data, but also support customized models for heterogeneous clients. Researches over the past few years have applied the weighted aggregation manner to produce personalized models, where the weights are determined by calibrating the distance of the entire model parameters or loss values, and have yet to consider the layer-level impacts to the aggregation process, leading to lagged model convergence and inadequate personalization over non-IID datasets. In this paper, we propose a novel pFL training framework dubbed Layer-wised Personalized Federated learning (pFedLA) that can discern the importance of each layer from different clients, and thus is able to optimize the personalized model aggregation for clients with heterogeneous data. Specifically, we employ a dedicated hypernetwork per client on the server side, which is trained to identify the mutual contribution factors at layer granularity. Meanwhile, a parameterized mechanism is introduced to update the layer-wised aggregation weights to progressively exploit the inter-user similarity and realize accurate model personalization. Extensive experiments are conducted over different models and learning tasks, and we show that the proposed methods achieve significantly higher performance than state-of-the-art pFL methods.

연구 동기 및 목표

• 모델 수준의 집합 방식이 클라이언트 간 계층 수준의 유틸리티 차이를 포착하지 못하는 데 기인한 한계를 해결하기 위해.
• 계층 수준의 클라이언트 간 유사도를 활용하여 비독립적 데이터 분포에서 모델 개인화와 수렴 속도를 향상시키기 위해.
• 이질적인 클라이언트를 지원하는 대규모 피어드 페더레이티드 러닝을 위한 확장 가능하고 통신 효율적인 프레임워크를 설계하기 위해.
• 각 클라이언트의 진정한 기여도를 반영하는 동적이고 클라이언트 전용의 집합 가중치를 제공하기 위해.

제안 방법

• 서버에서 각 클라이언트별로 전용 하이퍼넷워크를 훈련하여 계층 수준의 모델 유사도를 기반으로 계층별 집합 가중치를 예측한다.
• 하이퍼넷워크는 계층 수준의 파라미터 차이와 특징 표현을 분석함으로써 클라이언트 간 상호 기여 요소를 학습한다.
• 훈련 중에 계층별 집합 가중치를 동적으로 업데이트하는 파rameterized 메커니즘을 통해 변화하는 클라이언트 간 유사도를 활용한다.
• 휴리스틱 변형인 HeurpFedLA는 성능 손실 최소화로 통신 오버헤드를 줄이기 위해 클라이언트의 상위-k 로컬 계층을 선택적으로 유지한다.
• 세부적인 개인화를 가능하게 하기 위해 특징 수준 또는 파라미터 수준의 거리 측정 기반으로 계층 간 유사도를 측정한다.
• 전체 및 부분 집합 모두 지원하여 통신 비용과 모델 정확도 사이의 트레이드오���을 허용한다.

실험 결과

연구 질문

• RQ1 비독립적 데이터 분포 하에서 계층별 집합이 모델 수준의 집합보다 개인화된 피어드 페더레이티드 러닝에서 더 나은 성능을 내는가?
• RQ2 클라이언트 전용 하이퍼넷워크가 클라이언트 간 유사도를 기반으로 계층 수준의 기여도 가중치를 효과적으로 학습할 수 있는가?
• RQ3 로컬 계층의 선택적 유지가 성능 저하 없이 통신 오버헤드를 얼마나 줄일 수 있는가?
• RQ4 제안된 방법이 기존 최신 기술의 개인화된 피어드 페더레이티드 러닝 접근법보다 더 나은 개인화와 수렴 성능을 달성할 수 있는가?

주요 결과

• pFedLA는 비독립적 데이터 설정 하에서 EMNIST, FashionMNIST, CIFAR10, CIFAR100 전반에서 최신 기술의 개인화된 피어드 페더레이티드 러닝 방법보다 유의미하게 높은 모델 정확도를 달성한다.
• 계층별 집합 메커니즘이 더 나은 개인화를 가능하게 하였으며, 이는 데이터 분포가 상이한 클라이언트에서 정확도 향상 폭이 더 크다는 것으로 확인된다.
• 유사한 데이터 분포를 가진 클라이언트(예: 공통 클래스 레이블을 공유)는 더 높은 집합 가중치를 할당받으며, 이는 모델이 계층 수준에서 데이터 유사도를 탐지할 수 있음을 확인한다.
• 클라이언트 간 가중치 히트맵은 겹치는 클래스 레이블을 공유하는 인접한 클라이언트가 더 높은 가중치를 받는 것으로 나타나, 프레임워크가 데이터 유사도에 민감한 것을 검증한다.
• HeurpFedLA는 상위-k 로컬 계층을 유지함으로써 통신 오버헤드를 줄였으며, 성능 손실가 최소한이다 — 특히 분류기 계층을 집합에서 제외할 경우 특히 효과적이다.
• EMNIST에서는 분류기 계층을 집합에서 제외함으로써 평균 모델 정확도가 향상되며, 이는 FedRep와 같은 이전 연구와 일관된다.