[논문 리뷰] Energy-Aware Analog Aggregation for Federated Learning with Redundant Data

Yuxuan Sun, Sheng Zhou외 1명|arXiv (Cornell University)|2019. 11. 01.

Privacy-Preserving Technologies in Data참고 문헌 18인용 수 12

한 줄 요약

이 논문은 에너지 제약 조건 하에서 에너지 인지 동적 워커 스케줄링 정책을 제안하며, 유선 채널을 통한 아날로그 집계를 사용하여 에너지 제약 조건에서 효율적인 모델 업데이트를 가능하게 한다. 데이터 중복성과 라플라스 최적화를 활용함으로써, 근사 최적의 정확도를 달성한다 — 데이터 저장소를 두 배로 늘였을 때 MNIST 테스트 정확도가 9.8% 향상되었으며, 엄격한 에너지 예산 하에서 미니멀한 정책보다 6% 더 많은 워커를 스케줄링한다.

ABSTRACT

Federated learning (FL) enables workers to learn a model collaboratively by using their local data, with the help of a parameter server (PS) for global model aggregation. The high communication cost for periodic model updates and the non-independent and identically distributed (i.i.d.) data become major bottlenecks for FL. In this work, we consider analog aggregation to scale down the communication cost with respect to the number of workers, and introduce data redundancy to the system to deal with non-i.i.d. data. We propose an online energy-aware dynamic worker scheduling policy, which maximizes the average number of workers scheduled for gradient update at each iteration under a long-term energy constraint, and analyze its performance based on Lyapunov optimization. Experiments using MNIST dataset show that, for non-i.i.d. data, doubling data storage can improve the accuracy by 9.8% under a stringent energy budget, while the proposed policy can achieve close-to-optimal accuracy without violating the energy constraint.

연구 동기 및 목표

• 무선 네트워크를 통한 분산학습(FL)에서 높은 통신 비용과 비독립 동일분포(i.i.d.)가 아닌 데이터 문제를 해결하기 위해.
• 에너지 소비를 줄이면서도 기울기 업데이트를 위한 스케줄링된 워커 수를 최대화하기 위해.
• 비독립 동일분포 데이터 문제를 완화하기 위해 데이터 교환 또는 겹치는 데이터 수집을 통한 데이터 중복성 도입을 위해.
• 라플라스 최적화를 활용해 성능 보장을 갖춘 온라인, 분산형 에너지 인지 스케줄링 정책을 설계하기 위해.
• 실세계 환경에서 데이터 중복성, 에너지 예산, 모델 정확도 간의 트레이드오프를 평가하기 위해.

제안 방법

• 실시간 에너지 가용성과 큐 블랙에 기반해 워커를 선택하는 동적 워커 스케줄링 정책을 제안하며, 이는 라플라스 최적화를 기반으로 한다.
• 무선 다중접근 채널을 통해 파형 중첩을 이용해 글로벌 모델 합을 아날로그 집계 방식으로 계산함으로써 통신 오버헤드를 감소시킨다.
• 워커들이 상호 데이터를 공유하거나 겹치는 데이터를 수집함으로써 데이터 중복성을 도입하여 비독립 동일분포 데이터 분포에 대한 강건성을 향상시킨다.
• 에너지 사용과 스케줄링 성능를 균형 잡기 위해 드리프트 플러스 페널티 프레임워크를 활용하며, 유틸리티와 큐 블랙을 포함한 비용 함수를 최소화한다.
• 닫힌 형태의 스케줄링 결정을 유도한다: 라그랑주 승수에 포함된 임계값 이하로 에너지 부족을 큐 블랙 가중치를 적용해 계산한 워커는 스케줄링된다.
• 라플라스 드리프트 분석을 통해 성능을 분석하며, 정책이 유한한 큐 안정성과 에너지 제약 충족 조건 하에 근사 최적의 유틸리티를 달성함을 증명한다.

실험 결과

연구 질문

• RQ1 비독립 동일분포 데이터를 가진 분산학습 시스템에서 에너지 제약 조건이 있는 워커들을 어떻게 효율적으로 스케줄링할 수 있는가?
• RQ2 제한된 에너지 예산 하에서 데이터 중복성은 얼마나 모델 정확도 향상에 기여하는가?
• RQ3 미래 지식이나 채널 상태 정보 없이도 온라인, 분산 스케줄링 정책이 근사 최적의 성능을 달성할 수 있는가?
• RQ4 제안된 동적 정책은 미니멀 정책 대비 워커 활용도와 수렴 속도 측면에서 어떻게 비교되는가?
• RQ5 아날로그 집계 기반 분산학습에서 데이터 중복성, 에너지 소비, 모델 정확도 간의 트레이드오프는 어떠한가?

주요 결과

• 에너지 예산이 5 J로 매우 엄격한 조건에서 데이터 저장소를 두 배로 늘린 경우(중복 인자 r=2), MNIST 모델 정확도가 9.8% 향상되었다.
• 제안된 에너지 인지 동적 스케줄링 정책은 에너지 예산이 동일한 조건에서 반복 평균 90.9%의 워커 스케줄링 비율을 기록하며, 미니멀 정책의 84.6%를 초월했다.
• 에너지가 풍부한 초기 학습 단계에서 동적 정책은 더 많은 워커를 스케줄링하여 MLP 모델의 수렴 속도를 가속화한다.
• 장기적인 에너지 제약을 стрict하게 준수하면서도 근사 최적의 정확도를 달성하며, 이는 라플라스 최적화를 통한 증명으로 입증되었다.
• r=2를 초과해 데이터 중복성을 더 늘여도 정확도 향상에 대한 수익 감소 효과가 나타난다.
• 이론적 분석을 통해 정책이 유한한 큐 블랙을 유지하고 시간이 지남에 따라 높은 확률로 에너지 제약을 충족함을 확인했다.