[논문 리뷰] FEDZIP: A Compression Framework for Communication-Efficient Federated Learning

Amirhossein Malekijoo, Mohammad Javad Fadaeieslam외 4명|arXiv (Cornell University)|2021. 02. 02.

Privacy-Preserving Technologies in Data참고 문헌 48인용 수 24

한 줄 요약

FedZip는 상위-z 희소화, k-means 군집 기반 양자화, 그리고 허프만 및 차이 기반 인코딩을 포함한 세 가지 고급 인코딩 방법을 결합한 통신 효율적인联邦 학습을 위한 새로운 압축 프레임워크이다. 이는 최대 1085배의 압축을 이끌어내며 정확도 저하가 1% 미만이며, 통신 오버헤드를 99% 감소시켜 모바일 기기에서 에너지 효율성과 대역폭 사용을 크게 향상시킨다.

ABSTRACT

Federated Learning marks a turning point in the implementation of decentralized machine learning (especially deep learning) for wireless devices by protecting users' privacy and safeguarding raw data from third-party access. It assigns the learning process independently to each client. First, clients locally train a machine learning model based on local data. Next, clients transfer local updates of model weights and biases (training data) to a server. Then, the server aggregates updates (received from clients) to create a global learning model. However, the continuous transfer between clients and the server increases communication costs and is inefficient from a resource utilization perspective due to the large number of parameters (weights and biases) used by deep learning models. The cost of communication becomes a greater concern when the number of contributing clients and communication rounds increases. In this work, we propose a novel framework, FedZip, that significantly decreases the size of updates while transferring weights from the deep learning model between clients and their servers. FedZip implements Top-z sparsification, uses quantization with clustering, and implements compression with three different encoding methods. FedZip outperforms state-of-the-art compression frameworks and reaches compression rates up to 1085x, and preserves up to 99% of bandwidth and 99% of energy for clients during communication.

연구 동기 및 목표

• 클라이언트와 서버 간에 큰 모델 파라미터를 전송함으로써 발생하는 높은 통신 비용과 에너지 소비 문제를 해결하기 위해.
• 모델 정확도나 수렴 속도를 크게 떨어뜨리지 않으면서도 모바일 및 웨어러블 기기의 대역폭과 에너지 사용을 줄이기 위해.
• 희소화, 양자화, 확장 가능한 인코딩을 통합한 압축 파이프라인을 설계하여 효율적인 클라이언트-서버 통신을 위해.
• 압축 비율과 모델 성능 유지 측면에서 최신 기술보다 뛰어난 성능을 내기 위해.
• 실제 모바일 하드웨어에서 실생활 조건에서의 평가를 통해 실용적인 효율성 향상을 입증하기 위해.

제안 방법

• 가장 중요한 가중치 업데이트만 유지하기 위해 상위-z 희소화를 적용하여 전송되는 파라미터 수를 줄인다.
• 가중치 값을 군집화하고 양자화를 적용하기 위해 k-means 군집 기반 기법을 사용하여 정밀도 손실을 최소화한다.
• 표준 허프만 인코딩, 희귀 군집을 위한 어드레스 테이블 인코딩, 어드레스 위치를 위한 차이 기반 인코딩을 포함한 세 가지 인코딩 전략을 활용하여 저장 및 전송 최적화를 도모한다.
• 원시 모델 업데이트를 압축된 표현으로 대체함으로써 연합 평균(FedAvg) 프레임워크에 압축 파이프라인을 통합한다.
• 연합 학습의 반복적 성격을 활용하여 여러 학습 라운드 동안 압축된 업데이트를 재사용함으로써 효율성 향상을 극대화한다.
• 실제 스마트폰(Xiaomi Mi A2)에서 VGG16 및 CNN 모델을 대상으로 실생활 네트워크 조건 하에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 희소화, 양자화, 다중 방법 인코딩의 통합 파이프라인은 기존 프레임워크보다 연합 학습에서 더 높은 압축 비율을 달성할 수 있는가?
• RQ2 제안된 압축 프레임워크는 기준 FedAvg 및 FedSGD와 비교해 모델 정확도나 수렴 속도에 얼마나 큰 영향을 미치는가?
• RQ3 배터리 소모 및 반응 시간 측면에서 실생활 모바일 환경에서 이 프레임워크는 어떻게 성능을 발휘하는가?
• RQ4 다양한 모델 크기에 걸쳐 압축 비율과 확장성 사이의 최적 균형을 이루는 데 가장 효과적인 인코딩 방법은 무엇인가?
• RQ5 중요한 성능 저하 없이도 여러 통신 라운드 동안 높은 효율성을 유지할 수 있는가?

주요 결과

• FedZip는 인코딩과 다수의 학습 라운드(E=10)를 결합함으로써 최대 1085배의 압축 비율을 달성하며, 최신 기술보다 뚜렷이 뛰어난 성능을 보였다.
• 이 프레임워크는 통신 오버헤드를 약 99% 감소시켜 모바일 기기에서 에너지 절약과 배터리 효율성 향상에 기여했다.
• 차이 기반 인코딩 방법은 평균 127배, 최대 194배의 압축 비율을 기록했으며, 확장성과 효율성 측면에서 허프만 및 어드레스 테이블 인코딩을 모두 능가했다.
• 압축에 클라이언트당 5~10%의 추가 계산 오버헤드가 발생하지만, 전송 시간 절감으로 인해 네트워크 성능 향상과 더 빠른 반응 시간을 확보할 수 있었다.
• Xiaomi Mi A2 스마트폰에서의 실험 결과, 모델 크기와 통신 부하가 증가할수록 FedAvg 및 FedSGD보다 FedZip가 배터리 소모와 반응 시간을 더 효과적으로 줄이는 것으로 확인되었다.
• 높은 압축 수준에서도 정확도 저하가 1% 미만으로 유지되어, 높은 압축 수준에서도 강력한 내성과 안정성을 입증했다.