[논문 리뷰] FedPara: Low-Rank Hadamard Product for Communication-Efficient Federated Learning

Nam Hyeon-Woo, Moon Ye-Bin외 1명|arXiv (Cornell University)|2021. 08. 13.

Privacy-Preserving Technologies in Data참고 문헌 42인용 수 16

한 줄 요약

FedPara는 낮은 랭크 히드라드 곱을 사용하여 신경망 레이어를 재매개변수화하는 통신 효율적인联邦 학습 방법을 제안한다. 이는 훨씬 적은 파라미터로 전체 랭크 표현을 가능하게 하며, 원본 모델 대비 통신 비용을 최대 10배까지 줄일 수 있다. 정확도는 유지 또는 향상시키며, 다른 FL 최적화 기법과 조합하여 추가로 성능 향상을 이룰 수 있다.

ABSTRACT

In this work, we propose a communication-efficient parameterization, FedPara, for federated learning (FL) to overcome the burdens on frequent model uploads and downloads. Our method re-parameterizes weight parameters of layers using low-rank weights followed by the Hadamard product. Compared to the conventional low-rank parameterization, our FedPara method is not restricted to low-rank constraints, and thereby it has a far larger capacity. This property enables to achieve comparable performance while requiring 3 to 10 times lower communication costs than the model with the original layers, which is not achievable by the traditional low-rank methods. The efficiency of our method can be further improved by combining with other efficient FL optimizers. In addition, we extend our method to a personalized FL application, pFedPara, which separates parameters into global and local ones. We show that pFedPara outperforms competing personalized FL methods with more than three times fewer parameters.

연구 동기 및 목표

• 대역폭이 제한된 엣지 디바이스에서 빈번한 모델 업로드 및 다운로드로 인한 연합 학습의 높은 통신 오버헤드를 해결한다.
• 기존의 낮은 랭크 매개변수화 방식이 모델 용량을 제한하고 전체 랭크 표현을 달성하지 못하는 한계를 극복한다.
• 모델 용량을 유지하면서도 통신 라운드당 전송되는 비트 수를 극적으로 줄일 수 있는 매개변수화 방법을 개발한다.
• 글로벌 및 로컬 매개변수를 분리하여 pFedPara로 확장함으로써 이질적이고 비IIDs 데이터 환경에서의 성능 향상을 도모한다.
• FedPara가 기존의 FL 최적화 기법과 양자화 기법과 조합되어 통신 효율성과 정확도를 추가로 향상시킬 수 있음을 입증한다.

제안 방법

• 완전 연결 및 컨볼루션 레이어를 낮은 랭크 히드라드 곱을 사용하여 재매개변수화한다: $\mathbf{W} = (\mathbf{X}_1\mathbf{Y}_1^\top) \odot (\mathbf{X}_2\mathbf{Y}_2^\top)$, 여기서 각 인자화된 행렬의 랭크는 $r$이다.
• 특성 $\mathrm{rank}(\mathbf{W}) \leq r^2$을 활용하여 원본 $m \times n$ 가중치 행렬보다 훨씬 적은 파라미터로 전체 랭크 행렬을 표현한다.
• 추론 중에 원본 모델 구조를 유지하기 위해 $\mathbf{W}$를 사전 계산하고 저장함으로써 계산 복잡도의 증가 없이 구현한다.
• 모델 크기를 제어하기 위한 스케일링 하이퍼파ram터 $\gamma$를 도입하여 모델 크기와 성능 간의 트레이드오���을 가능하게 한다.
• 각 클라이언트별로 개인화된 모델 학습이 가능한 글로벌 및 로컬 요소로 낮은 랭크 인자들을 분리함으로써 FedPara를 pFedPara로 확장한다.
• FedPAQ(양자화 포함)와 같은 다른 통신 효율 기법과 FedPara를 조합하여 통신 비용을 추가로 줄이되, 정확도 손실은 최소화한다.

실험 결과

연구 질문

• RQ1 낮은 랭크 히드라드 곱 매개변수화 방식이 통신 비용을 줄이면서도 전체 랭크 표현을 달성할 수 있는가?
• RQ2 동일한 파라미터 예산 하에서 FedPara가 기존의 낮은 랭크 매개변수화 방식보다 정확도와 통신 효율성 면에서 뛰어나게 되는가?
• RQ3 특히 비IIDs 및 이질적 데이터 환경에서 FedPara가 원본 모델 대비 통신 비용을 얼마나 줄일 수 있는가?
• RQ4 FedPara를 다른 FL 최적화 기법(예: 양자화, FedAvg)과 조합할 경우 통신 효율성과 모델 정확도에 어떤 영향을 미치는가?
• RQ5 pFedPara가 훨씬 적은 파라미터를 사용하면서도 기존의 개인화된 FL 방법보다 더 뛰어난 성능을 달성할 수 있는가?

주요 결과

• FedPara는 CIFAR-10, ImageNet, Shakespeare 데이터셋에서 원본 모델과 유사하거나 더 높은 정확도를 달성하면서 통신 비용을 최대 10배까지 줄였다.
• CIFAR-10에서 VGG16을 사용할 경우 $\gamma=0.5$일 때 FedPara가 83.82%의 정확도를 기록했으며, 라운드당 전송량은 46.4MB로 FedAvg(122MB)보다 2배 이상 적었다.
• FedPAQ와 조합할 경우 FedPara만 사용할 때보다 통신 비용을 추가로 25% 줄였고, FedAvg 대비 정확도 손실은 0.1%에 불과했다.
• ResNet18의 경우, FedPara가 원본 모델 대비 목표 정확도에 도달하기 위해 필요한 통신 비용이 모델 크기에 따라 1.17배에서 5.1배까지 줄어들었다.
• Shakespeare 데이터셋의 LSTM에서, 원본 모델의 19% 파라미터만 사용하는 FedPara가 IIDs 환경에서는 낮은 랭크 기반 베이스라인과 원본 모델 모두를 능가했으며, 비IIDs 환경에서도 경쟁력 있는 성능을 보였다.
• pFedPara는 경쟁하는 개인화된 FL 방법보다 3배 이상 적은 파라미터를 사용하면서도 도전적인 비IIDs 환경에서 뛰어난 강건성과 성능을 보였다.