[논문 리뷰] Expanding the Reach of Federated Learning by Reducing Client Resource Requirements

Sebastian Caldas, Jakub Konečný외 2명|arXiv (Cornell University)|2018. 12. 18.

Privacy-Preserving Technologies in Data참고 문헌 24인용 수 158

한 줄 요약

이 논문은 Federated Learning에서 서버-클라이언트 간 커뮤니케이션 감소 두 가지를 제안한다: Kashin 기반 손실 모델 압축과 Federated Dropout. 정확도 손실 없이 서버-클라이언트 통신은 최대 14배, 클라이언트-대-서버는 최대 28배 감소를 달성한다.

ABSTRACT

Communication on heterogeneous edge networks is a fundamental bottleneck in Federated Learning (FL), restricting both model capacity and user participation. To address this issue, we introduce two novel strategies to reduce communication costs: (1) the use of lossy compression on the global model sent server-to-client; and (2) Federated Dropout, which allows users to efficiently train locally on smaller subsets of the global model and also provides a reduction in both client-to-server communication and local computation. We empirically show that these strategies, combined with existing compression approaches for client-to-server communication, collectively provide up to a $14 imes$ reduction in server-to-client communication, a $1.7 imes$ reduction in local computation, and a $28 imes$ reduction in upload communication, all without degrading the quality of the final model. We thus comprehensively reduce FL's impact on client device resources, allowing higher capacity models to be trained, and a more diverse set of users to be reached.

연구 동기 및 목표

• 이질적인 에지 네트워크에서 Federated Learning의 통신 병목 현상을 줄이는 동기를 부여한다.
• 최종 모델 정확도를 해치지 않으면서 서버-대-클라이언트 및 로컬 계산 비용을 줄이는 두 가지 전략을 소개한다.

제안 방법

• Kashin’s 표현을 이용한 기저 변환 및 양자화 파이프라인을 적용하여 서버-대-클라이언트 모델 다운로드를 압축한다.
• Federated Dropout을 사용하여 클라이언트에서 서브-모델을 훈련시키고 교환되는 모델 크기와 로컬 계산을 줄인다.
• 기존의 클라이언트-대-서버 압축 방법과 결합했을 때의 호환성 및 합산 이점을 입증한다.
• 디컴프레션, 로컬 훈련 및 서버에서의 집계를 보여주는 엔드-투-엔드 워크플로우를 제공한다.

실험 결과

연구 질문

• RQ1 서버-대-클라이언트 모델 다운로드의 손실 압축이 클라이언트 기기에서 압축 해제될 때 정확도를 유지할 수 있는가?
• RQ2 Federated Dropout이 커뮤니케이션과 로컬 계산을 감소시키면서 최종 모델 성능 저하 없이 작동하는가?
• RQ3 Kashin의 표현과 서브샘플링이 FL의 기존 클라이언트-대-서버 압축과 어떻게 상호작용하는가?
• RQ4 이 전략들을 결합할 때 달성 가능한 엔드-투-엔드 커뮤니케이션 및 계산 절감은 어느 정도인가?
• RQ5 이질적 FL 설정에서 실용적인 매개변수 설정(드롭아웃 비율, 양자화 수준)에 대해 어떤 지침이 도출되는가?

주요 결과

Scheme	Client-to-Server (transf.)	s (Client-to-Server)	q (Client-to-Server)	Server-to-Client (transf.)	s (Server-to-Client)	q (Server-to-Client)
Aggressive	Kashin’s	0.4	2	Kashin’s	1.0	3
Moderate	Kashin’s	0.5	4	Kashin’s	1.0	5
Conservative	Kashin’s	1.0	8	Kashin’s	1.0	8

• Kashin 표현으로 손실 압축은 모델을 4비트까지 양자화할 수 있어, 정확도 손실 없이 상당한 통신 감소를 달성한다.
• Federated Dropout은 약 0.75의 드롭아웃 비율에서 최종 정확도와 같거나 향상시키면서도 통신과 로컬 계산을 모두 감소시킨다.
• 기존의 클라이언트-대-서버 압축과 결합하면, 이 접근 방식은 몇몇 데이터셋에서 최대 14x 서버-대-클라이언트, 28x 클라이언트-대-서버, 로컬 계산은 1.7x 감소를 달성하면서 정확도 손실이 없다.
• CIFAR-10에서 서버-대-클라이언트 절감은 약 10x, 로컬 계산은 약 1.3x로 Federated Dropout과 압축을 함께 사용할 때 달성된다.
• 이 결합은 수렴 속도를 약간 느리게 하지만, 테스트 벤치마크(MNIST, CIFAR-10, EMNIST) 전반에 걸쳐 최종 모델 품질을 보존한다.