[논문 리뷰] Communication-Efficient Robust Federated Learning Over Heterogeneous Datasets

Yanjie Dong, Georgios B. Giannakis외 4명|arXiv (Cornell University)|2020. 06. 17.

Privacy-Preserving Technologies in Data참고 문헌 36인용 수 13

한 줄 요약

이 논문은 데이터 이질성과 알려지지 않은 결함이 있는 워커 수 조건 하에서 더 빠른 수렴을 달성하기 위해 네스테로프 가속 기법을 활용한 통신 효율적이고 바이러스성에 강건한 분산학습 알고리즘(FRPG 및 그 국소 버전인 LFRPG)을 제안한다. 이 방법은 악성 데이터 손상에 대비한 강건성을 확보하면서도 통신 오버헤드를 줄이며, 강凸 손실 함수에 대해 기준 강건한 확률적 집계 방법보다 증명 가능한 빠른 수렴 속도를 달성한다.

ABSTRACT

This work investigates fault-resilient federated learning when the data samples are non-uniformly distributed across workers, and the number of faulty workers is unknown to the central server. In the presence of adversarially faulty workers who may strategically corrupt datasets, the local messages exchanged (e.g., local gradients and/or local model parameters) can be unreliable, and thus the vanilla stochastic gradient descent (SGD) algorithm is not guaranteed to converge. Recently developed algorithms improve upon vanilla SGD by providing robustness to faulty workers at the price of slowing down convergence. To remedy this limitation, the present work introduces a fault-resilient proximal gradient (FRPG) algorithm that relies on Nesterov's acceleration technique. To reduce the communication overhead of FRPG, a local (L) FRPG algorithm is also developed to allow for intermittent server-workers parameter exchanges. For strongly convex loss functions, FRPG and LFRPG have provably faster convergence rates than a benchmark robust stochastic aggregation algorithm. Moreover, LFRPG converges faster than FRPG while using the same communication rounds. Numerical tests performed on various real datasets confirm the accelerated convergence of FRPG and LFRPG over the robust stochastic aggregation benchmark and competing alternatives.

연구 동기 및 목표

• 데이터가 워커 간에 균일하지 않게 분포되어 있고, 결함이 있는 워커의 수가 알려져 있지 않은 조건에서 장애 내성 분산학습 문제를 해결하기 위해.
• 바이러스성 공격에 대한 내성을 희생시키지 않고 강건한 분산학습의 수렴 속도를 향상시키기 위해.
• 강건한 악성 워커에 대비한 내성을 유지하면서도 분산학습의 통신 오버헤드를 줄이기 위해.
• 강凸 손실 함수 조건 하에서 기존의 강건한 확률적 집계 방법보다 증명 가능한 빠른 수렴 속도를 갖는 알고리즘을 개발하기 위해.

제안 방법

• 바이러스성 워커 존재 조건 하에서 수렴 속도를 향상시키기 위해 네스테로프 가속 기법을 활용한 장애 내성 프록시멀 그라디언트(FRPG) 알고리즘을 제안한다.
• 서버와 워커 간의 간헐적인 파라미터 교환을 允허하는 국소 버전(LFRPG)을 개발하여 통신 라운드 수를 줄인다.
• 결함이 있는 워커로부터 유해한 기울기를 걸러내기 위해 성분별 중앙값 기반 집계 기법을 활용한다.
• 리아파노프 분석과 재귀 부등식을 사용하여 FRPG 및 LFRPG의 수렴 속도를 유도하며, 초기 오차, 기울기 분산 및 스텝 사이즈 파라미터에 대한 경계를 설정한다.
• 비독립 동일분포(i.i.d.)가 아닌 데이터 조건 하에서 수렴을 보장하기 위해 문제 특화 상수(예: δn, σn², λ, G) 기반의 적응형 스텝 사이즈 규칙을 도입한다.
• 과거 모델과 기울기의 가중 평균을 사용하여 업데이트를 안정화하고 악성 편향에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 비독립 동일분포가 아닌 데이터 조건과 바이러스성 결함이 존재하는 상황에서 네스테로프 가속 기법을 강건한 분산학습에 효과적으로 통합할 수 있는가?
• RQ2 수렴성이나 강건성을 훼손하지 않고 바이러스성에 강건한 분산학습에서 통신 효율성을 어떻게 향상시킬 수 있는가?
• RQ3 비독립 동일분포 데이터와 알려지지 않은 결함 워커 수 조건 하에서 강凸 손실 함수에 대해 장애 내성 프록시멀 그라디언트 방법의 이론적 수렴 속도는 무엇인가?
• RQ4 국소 버전(LFRPG)은 전체 FRPG에 비해 수렴 속도와 통신 효율성 측면에서 어떻게 비교되는가?
• RQ5 제안된 방법은 기존의 강건한 확률적 집계 벤치마크에 비해 수렴 속도와 강건성 측면에서 슈퍼어리어어인가?

주요 결과

• FRPG는 강凸 손실 함수에 대해 O(1/(K+2)²)의 수렴 속도를 달성하며, 이는 기준 강건한 확률적 집계 알고리즘보다 증명 가능한 빠른 속도이다.
• LFRPG는 동일한 통신 라운드 수 조건 하에서 FRPG보다 더 빠른 수렴 속도를 보이며, 이는 국소 업데이트 메커니즘이 기여한다.
• FRPG의 수렴 속도는 초기 오차, 기울기 분산 및 문제 특화 상수에 대한 항을 포함하며, 잔여 오차를 위한 추가 항 O(λ²B²G/δ₀)가 존재한다.
• LFRPG는 평균 반복값에 대해 O(1/T(I+2)²)의 수렴 경계를 달성하며, 최적 해와의 초기 거리와 기울기 노이즈에 명시적인 의존성을 보인다.
• 실제 데이터셋을 활용한 수치 실험 결과, FRPG 및 LFRPG가 강건한 확률적 집계 벤치마크 및 기타 경쟁 알고리즘보다 더 빠르게 수렴하는 것으로 확인되었다.
• 집계 메커니즘이 악성 업데이트를 효과적으로 걸러내는 한, 50% 이상의 워커가 결함이 있는 경우에도 이 방법은 강건성을 유지한다.