[논문 리뷰] FedHM: Efficient Federated Learning for Heterogeneous Models via Low-rank Factorization

Dezhong Yao, Wanning Pan외 5명|arXiv (Cornell University)|2021. 11. 29.

Privacy-Preserving Technologies in Data인용 수 13

한 줄 요약

FedHM은 저랭크 분해를 사용하여 글로벌 모델을 더 작은 클라이언트 전용 모델로 압축함으로써 다양한 계산 능력을 가진 이질적 모델의 효율적 훈련을 가능하게 하는 새로운 피어드 페더레이티드 러닝 프레임워크를 제안한다. 다양한 모델 크기와 통신 설정에서 뛰어난 성능과 강건성을 달성하며, 이론적 수렴 보장과 상당한 통신 비용 절감을 제공한다.

ABSTRACT

One underlying assumption of recent federated learning (FL) paradigms is that all local models usually share the same network architecture and size, which becomes impractical for devices with different hardware resources. A scalable federated learning framework should address the heterogeneity that clients have different computing capacities and communication capabilities. To this end, this paper proposes FedHM, a novel heterogeneous federated model compression framework, distributing the heterogeneous low-rank models to clients and then aggregating them into a full-rank model. Our solution enables the training of heterogeneous models with varying computational complexities and aggregates them into a single global model. Furthermore, FedHM significantly reduces the communication cost by using low-rank models. Extensive experimental results demonstrate that FedHM is superior in the performance and robustness of models of different sizes, compared with state-of-the-art heterogeneous FL methods under various FL settings. Additionally, the convergence guarantee of FL for heterogeneous devices is first theoretically analyzed.

연구 동기 및 목표

• 클라이언트가 다양한 계산 및 통신 능력을 지닌 시스템 및 모델 이질성 문제를 다루기.
• HeteroFL 및 Split-Mix와 같은 기존 방법들이 작은 모델에서 성능이 열 劣하고 수렴 보장이 없는 한계를 극복하기.
• 다른 크기와 복잡도를 가진 이질적 모델의 효과적인 훈련과 집계를 가능하게 하되, 모델 용량을 유지하기.
• 저랭크 압축된 모델을 클라이언트에 배포하여 통신 오버헤드를 줄이고 데이터 전송을 최소화하기.
• 이질적 장치 및 모델 설정 하에서 페더레이티드 러닝에 대한 이론적 수렴 보장을 제공하기.

제안 방법

• 서버 측에서 특이값 분해(SVD)를 사용하여 전체 랭크(global model)를 저랭크 분해된 모델로 압축하고, 하이브리드 네트워크 구조를 통해 모델 용량을 유지한다.
• 클라이언트의 하드웨어 능력에 따라 압축된 저랭크 모델을 배포하여 자원 제약이 있는 장치에서 효율적인 로컬 훈련을 가능하게 한다.
• 행렬 복구 기법을 사용하여 서버 측에서 저랭크 분해된 로컬 모델로부터 전체 랭크 모델을 재구성한다.
• 복구된 전체 랭크 모델을 가중 평균을 통해 집계하여 글로벌 모델을 업데이트함으로써 이질적 아키텍처 간의 호환성을 확보한다.
• 저랭크 분해와 구조적 프루닝(SI 및 FD)을 통합하여 일반화 성능 향상과 과적합 방지를 위한 정규화 효과를 도입한다.
• 작은 모델의 성능이 큰 모델과 조합되더라도 떨어지지 않도록 하는 혁신적인 집계 전략을 적용한다.

실험 결과

연구 질문

• RQ1 저랭크 분해가 이질적 클라이언트 간의 모델 성능을 유지하면서 페더레이티드 러닝에서 깊이 있는 신경망을 효과적으로 압축할 수 있는가?
• RQ2 HeteroFL 및 Split-Mix와 같은 최신 이질적 FL 방법들과 비교해 FedHM은 정확도, 강건성 및 통신 효율성 측면에서 어떻게 성능을 내는가?
• RQ3 제안된 방법이 모델 및 시스템 이질성 존재 하에서 이론적 수렴 보장을 제공하는가?
• RQ4 하이브리드 아키텍처를 사용한 저랭크 압축이 균일한 너비 프루닝에 비해 모델 정확도와 파rameter 효율성 측면에서 얼마나 뛰어나게 성능을 내는가?
• RQ5 FedHM은 동일 및 이질적 FL 환경에서 비아이디얼 데이터 분포와 다양한 모델 크기 하에서 어떻게 성능을 내는가?

주요 결과

• FedHM은 모든 모델 크기에서 최신 기술 대비 높은 테스트 정확도를 달성하였으며, 11.17M 파라미터를 가진 글로벌 모델을 사용해 CIFAR-10에서 IID 조건 하에 93.50%의 Top-1 정확도를 기록하였다.
• CIFAR-100에서 가장 작은 저랭크 모델(3.27M 파라미터)은 IID 조건 하에 71.05%의 정확도를 기록했고, Non-IID 조건 하에선 67.96%를 기록하여 일부 경우 원본 모델를 초월하였다.
• 전체 랭크 모델 대비 통신 비용이 7.8배에서 9.0배까지 감소하였으며, 계산 오버헤드는 2.0배 감소하였다.
• FedHM의 하이브리드 네트워크 구조는 심각하게 압축된 모델에서 성능 저하를 방지한다. 이 구조를 제거할 경우 정확도가 90%에서 80% 이하로 급격히 떨어지는 것으로 나타났다.
• 작은 모델이 큰 모델과 함께 집계되더라도 성능 손실 없이 강건한 성능을 유지한다. 다양한 모델 조합에서 안정적인 성능을 기록하였다.
• 이질적 장치 설정 하에서 FedHM에 대한 이론적 수렴 보장이 입증되었으며, 이는 이와 같은 방법들 중 처음으로 이루어진 것이다.