[논문 리뷰] HeteroFL: Computation and Communication Efficient Federated Learning for Heterogeneous Clients

Enmao Diao, Jie Ding외 1명|arXiv (Cornell University)|2020. 10. 03.

Privacy-Preserving Technologies in Data참고 문헌 35인용 수 179

한 줄 요약

HeteroFL은 계산 및 통신 능력이 서로 다른 이질적 로컬 모델의 학습을 가능하게 하고, 동일한 아키텍처를 필요로 하지 않으면서 이를 단일 글로벌 모델로 집계합니다. 또한 안정적인 집계와 효율성 향상을 위해 sBN, Masked Cross-Entropy, 그리고 부분 네트워크 분배 스킴을 도입합니다.

ABSTRACT

Federated Learning (FL) is a method of training machine learning models on private data distributed over a large number of possibly heterogeneous clients such as mobile phones and IoT devices. In this work, we propose a new federated learning framework named HeteroFL to address heterogeneous clients equipped with very different computation and communication capabilities. Our solution can enable the training of heterogeneous local models with varying computation complexities and still produce a single global inference model. For the first time, our method challenges the underlying assumption of existing work that local models have to share the same architecture as the global model. We demonstrate several strategies to enhance FL training and conduct extensive empirical evaluations, including five computation complexity levels of three model architecture on three datasets. We show that adaptively distributing subnetworks according to clients' capabilities is both computation and communication efficient.

연구 동기 및 목표

• 클라이언트 기기가 다양한 계산 및 통신 능력을 가질 때 연합학습을 촉진한다.
• 이질적 로컬 모델을 학습하고 단일 글로벌 모델로 집계하는 프레임워크를 제안한다.
• 훈련 효율성과 균형 잡힌 non-IID 데이터에 대한 강인성을 개선한다.
• 이질적 설정에서 학습을 안정화하고 프라이버시를 보존하는 기술을 도입한다.

제안 방법

• 다수의 계산 복잡도 수준에서 글로벌 모델의 서브네트워크를 클라이언트에 분배하여 로컬 모델이 서로 다른 너비를 가질 수 있도록 한다.
• 클라이언트 간에 서로 배타적인 부분 집합으로 매개변수를 집계하여 글로벌 모델을 형성한다(매개변수 파티션의 포함된 합집합).
• Running statistics 공유를 피하기 위해 static Batch Normalization (sBN)을 사용하고, 학습 라운드 후 글로벌 BN 통계를 업데이트한다.
• 훈련 중 표현을 규모에 맞게 조정하기 위해 Scaler 모듈을 부착하여 서브네트워크 크기 차이를 반영한다.
• 클라이언트에 존재하지 않는 클래스에 대한 출력을 마스킹하여 비동일(non-IID) 데이터를 균형 있게 다루기 위해 Masked Cross-Entropy Loss를 적용한다.

실험 결과

연구 질문

• RQ1 다른 아키텍처나 크기를 가진 이질적 로컬 모델을 연합학습 프레임워크 내에서 학습시켜 단일의 정확한 글로벌 모델을 얻을 수 있는가?
• RQ2 다양한 클라이언트 능력에 걸쳐 이질적 로컬 모델을 안정적으로 집계하고 학습 효율성을 보장하는 방법은?
• RQ3 균형형/비균형 non-IID 데이터에서 프라이버시와 성능을 가장 잘 보존하는 정규화 및 손실 전략은 무엇인가?
• RQ4 클라이언트 능력의 동적 변화가 수렴성과 최종 정확도에 어떤 영향을 미치는가?

주요 결과

• HeteroFL은 이질적 로컬 모델을 학습하고 이를 추가 계산 오버헤드 없이 단일 글로벌 모델로 집계할 수 있다.
• 클라이언트 능력에 따른 적응형 서브네트워크 분배는 계산 및 통신 비용을 줄이면서도 경쟁력 있는 정확도를 얻는다.
• Static BN과 Masked Cross-Entropy는 균형된 non-IID 데이터 시나리오에서 안정성과 성능을 향상시킨다.
• 이 방법은 동적으로 변화하는 로컬 능력과 다양한 모델 아키텍처(CNN, PreResNet18, Transformer)에 대한 견고성을 보여준다.