[논문 리뷰] Expanding the Reach of Federated Learning by Reducing Client Resource Requirements

Sebastian Caldas, Jakub Konečny외 2명|arXiv (Cornell University)|2018. 12. 18.

Privacy-Preserving Technologies in Data인용 수 210

한 줄 요약

논문은 Federated Learning에서 서버-클라이언트 간 통신을 줄이기 위한 두 가지 전략을 제시합니다: Kashin의 표현을 이용한 손실이 있는 서버-클라이언트 모델 압축과 Federated Dropout. 기존의 클라이언트-서버 압축과 결합하면 이 방법들은 최종 모델 정확도를 저하시키지 않으면서 서버-클라이언트 최대 14×, 클라이언트-서버 28×, 로컬 계산 감소 1.7×까지 달성하되 수렴 속도는 라운드에서 느려질 수 있습니다.

ABSTRACT

Communication on heterogeneous edge networks is a fundamental bottleneck in Federated Learning (FL), restricting both model capacity and user participation. To address this issue, we introduce two novel strategies to reduce communication costs: (1) the use of lossy compression on the global model sent server-to-client; and (2) Federated Dropout, which allows users to efficiently train locally on smaller subsets of the global model and also provides a reduction in both client-to-server communication and local computation. We empirically show that these strategies, combined with existing compression approaches for client-to-server communication, collectively provide up to a $14\ imes$ reduction in server-to-client communication, a $1.7\ imes$ reduction in local computation, and a $28\ imes$ reduction in upload communication, all without degrading the quality of the final model. We thus comprehensively reduce FL's impact on client device resources, allowing higher capacity models to be trained, and a more diverse set of users to be reached.

연구 동기 및 목표

• 이질적 엣지 네트워크에서 Federated Learning의 통신 병목 현상을 줄이는 것을 동기 부여합니다.
• 클라이언트 리소스 요구를 낮춰 더 큰 용량 모델의 훈련을 가능하게 합니다.
• 대역폭과 계산을 줄이면서 모델 품질을 보존하는 방법을 개발하고 평가합니다.
• 새로운 전략이 기존의 클라이언트-서버 압축 기술과의 호환성을 보임을 입증합니다.

제안 방법

• 클라이언트가 다운로드하는 글로벌 모델에 대해 basis 변환, 하위 샘플링, 확률적 양자화를 이용한 손실 압축을 제안하고, Kashin’s 표현으로 양자화 오차를 줄입니다.
• Federated Dropout을 도입하여 클라이언트가 더 작은 하위 모델로 학습하고 하위 모델 업데이트만 전송하게 하며, 서버에서 이를 전체 글로벌 모델에 매핑합니다.
• 서버-클라이언트 압축을 기존의 클라이언트-서버 압축 방식과 결합하고 엔드 투 엔드 대역폭 및 계산 절감 효과를 평가합니다.
• 기저 변환(항상 identity, random Hadamard, Kashin’s) 선택, 하위 샘플링 비율, 양자화 비트 수에 대한 파라미터 선택을 경험적으로 분석합니다.
• 고정된 하이퍼파라미터와 표준 학습 설정으로 MNIST, CIFAR-10, EMNIST에서 FedAvg로 평가합니다.

실험 결과

연구 질문

• RQ1 Federated Learning으로 학습할 때 서버-클라이언트 통신을 어느 정도까지 줄이더라도 최종 모델 성능이 저하되지 않는가?
• RQ2 Federated Dropout이 정확도를 유지하면서 로컬 계산 및 클라이언트-서버 통신을 의미 있게 감소시키는가?
• RQ3 Kashin’s 표현과 Hadamard 변환은 서버-클라이언트 설정의 손실 압축에 대해 어떻게 비교되는가?
• RQ4 손실이 있는 서버-클라이언트 압축과 Federated Dropout은 기존의 클라이언트-서버 압축 기술과 호환되는가?

주요 결과

• 서버-클라이언트 모델 통신은 정확도를 유지하면서 최대 14×까지 감소시킬 수 있다.
• Federated Dropout은 커넥티드 레이어 기준으로 최대 1.7× 및 경우에 따라 43%까지 로컬 계산을 감소시키고 통신을 감소시킨다.
• 제안된 접근을 기존의 클라이언트-서버 압축과 결합하면 특정 구성에서 최대 28×의 클라이언트-서버 및 28×의 서버-클라이언트 감소를 달성한다.
• Federated Dropout 비율이 0.75일 때, 모델은 중간 및 보수적 압축 방식에서 정확도를 유지하고 상당한 대역폭 절감을 달성했다.
• 엔드-투-엔드 프레임워크는 통신 라운드 측면에서 수렴 속도가 다소 느려지지만 최종 모델 품질을 악화시키지는 않는다.
• 실제 환경의 FL 배포를 위한 실용적인 파라미터 설정(예: Dropout 약 0.75 및 Kashin’s를 보통/보수적 압축과 함께) 제시합니다.