[논문 리뷰] EDEN: Communication-Efficient and Robust Distributed Mean Estimation for Federated Learning

Shay Vargaftik, Ran Ben Basat외 4명|arXiv (Cornell University)|2021. 08. 19.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

EDEN은 이질적인 통신 예산과 패킷 손실 조건에서도 편향 없고 낮은 오차를 갖는 분산 평균 추정(DME)을 실현하는 통신 효율적이고 강력한 분산 학습 알고리즘입니다. 무작위 회전과 결정적 양자화를 조합하여, 극도로 압축된 통신 환경과 네트워크 손실 조건에서도 최소한의 통신 비용으로 더 낮은 정규화 평균 제곱 오차(NMSE)를 달성합니다. 기존 최고 수준의 방법들보다도 뛰어난 성능을 보입니다.

ABSTRACT

Distributed Mean Estimation (DME) is a central building block in federated learning, where clients send local gradients to a parameter server for averaging and updating the model. Due to communication constraints, clients often use lossy compression techniques to compress the gradients, resulting in estimation inaccuracies. DME is more challenging when clients have diverse network conditions, such as constrained communication budgets and packet losses. In such settings, DME techniques often incur a significant increase in the estimation error leading to degraded learning performance. In this work, we propose a robust DME technique named EDEN that naturally handles heterogeneous communication budgets and packet losses. We derive appealing theoretical guarantees for EDEN and evaluate it empirically. Our results demonstrate that EDEN consistently improves over state-of-the-art DME techniques.

연구 동기 및 목표

• 통신 제약과 네트워크 이질성으로 인한 분산 평균 추정의 정확도 저하 문제를 해결합니다.
• 다양한 클라이언트의 통신 예산과 패킷 손실 조건에서도 편향 없는 추정을 유지할 수 있는 DME 방법을 설계합니다.
• 기존 기법들보다 더 낮은 정규화 평균 제곱 오차(NMSE)를 달성하면서도 통신 오버헤드를 최소화합니다.
• 오차 피드백 메커니즘을 제거하기 위해 강력한 양자화를 통해 편향 없는 추정을 보장합니다.
• 낮은 비트 예산 조건에서도 크로스 디바이스 및 동질적 분산 학습 환경에서 효과적인 모델 집합을 가능하게 합니다.

제안 방법

• 양자화 이전에 클라이언트 기울기들을 균일한 무작위 회전을 적용하여 좌표의 크기를 균일화하고, 양자화 오차를 감소시킵니다.
• 회전된 벡터에 대해 결정적 1비트 양자화를 수행한 후, 편향을 유지하기 위해 스케일링을 수행합니다.
• 추정 오차를 회전, 양자화, 희소화의 구성요소로 분해하여 이론적 분석이 가능하도록 합니다.
• 네트워크 패킷 손실을 독립적인 희소화 과정으로 모델링하여, EDEN의 오차가 회전과 손실의 순서에 관계없이 불변임을 보입니다.
• 클라이언트가 회전 및 양자화된 기울기를 전송하고 서버가 역회전 및 평균을 취하는 방식으로 분산 학습 파이프라인에 통합합니다.
• 이론적 분석을 통해 EDEN이 부분적 또는 임의의 패킷 손실 조건에서도 좌표당 O(1) 비트로 O(1/n)의 NMSE를 달성함을 증명합니다.

실험 결과

연구 질문

• RQ1 오차 피드백에 의존하지 않고도, 임의의 패킷 손실과 이질적인 통신 예산 조건에서도 낮은 추정 오차를 유지할 수 있는 DME 기법이 존재할 수 있는가?
• RQ2 무작위 회전과 결정적 양자화의 조합이 분산 환경에서 평균 추정의 편향과 분산에 어떤 영향을 미치는가?
• RQ3 네트워크 손실을 희소화의 한 형태로 간주할 경우, DME 기법의 이론적 오차 한계는 무엇이며, 기존 압축 기법과 비교해 볼 때 어떻게 다른가?
• RQ4 낮은 비트 예산과 데이터 이질성 조건에서 EDEN은 실제 분산 학습 환경에서 어떻게 성능을 발휘하는가?
• RQ5 기타 방법들이 실패하는 극도로 낮은 비트 범위(예: 좌표당 0.1~0.5비트)에서도 EDEN은 수렴을 달성할 수 있는가?

주요 결과

• EDEN은 좌표당 O(1) 비트만으로도 O(1/n)의 NMSE를 달성하여, 최고 수준의 기법들과 동일한 이론적 하한선을 충족하면서도 더 강력한 성능을 보입니다.
• 패킷 손실 조건에서 EDEN의 vNMSE(벡터화된 NMSE)는 동일한 수신 비율의 부분 비트 압축과 동일한 성능을 보이며, 그 강건성을 입증합니다.
• PCA를 위한 분산 파wer 반복 알고리즘에서, EDEN은 MNIST와 CIFAR-10에서 모든 비트 예산(1~8비트) 범위에서 가장 낮은 L2 오차를 기록합니다.
• 10개 클라이언트의 동질적 분산 학습 환경에서, EDEN은 CIFAR-10과 CIFAR-100에서 테스트 및 훈련 정확도가 가장 높으며, 특히 낮은 비트 예산(예: 좌표당 0.1~0.5비트) 조건에서 두드러진 성능을 보입니다.
• 50개 클라이언트와 좌표당 0.05비트의 비트 예산 조건에서 크로스 디바이스 분산 학습 환경에서도, EDEN은 심각한 레이블 편향 조건에서도 MNIST와 CIFAR-10에서 높은 정확도를 유지하며 모든 베이스라인을 능가합니다.
• EDEN은 유일하게 CIFAR-100에서 0.5비트 예산 조건에서도 수렴을 달성하여 극도로 압축된 환경에서의 효과성을 입증합니다.