[논문 리뷰] Asynchronous Online Federated Learning for Edge Devices.

Yujing Chen, Yue Ning외 1명|arXiv (Cornell University)|2019. 11. 05.

Privacy-Preserving Technologies in Data참고 문헌 40인용 수 48

한 줄 요약

이 논문은 에지 디바이스가 지속적인 데이터 스트림을 사용해 온라인 학습을 수행할 수 있도록 하며, 이질적인 디바이스로부터의 기여를 비동기적으로 사용하여 중앙 서버가 글로벌 모델을 업데이트할 수 있도록 하는 Asynchronous Online Federated Learning (ASO-fed) 프레임워크를 제안한다. 모델 집합과 학습 동기화를 분리함으로써 ASO-fed는 학습 비용을 감소시키고, 디바이스 이질성과 장애 발생에도 불구하고 높은 성능을 유지한다.

ABSTRACT

Federated learning (FL) is a machine learning paradigm where a shared central model is learned across multiple distributed client devices while the training data remains on edge devices or local clients. Most prior work on federated learning uses Federated Averaging (FedAvg) as an optimization method for training in a synchronized fashion. This involves independent training at multiple edge devices with synchronous aggregation steps. However, the assumptions made by FedAvg are not realistic given the heterogeneity of devices. In particular, the volume and distribution of collected data vary in the training process due to different sampling rates of edge devices. The edge devices themselves also vary in their available communication bandwidth and system configurations, such as memory, processor speed, and power requirements. This leads to vastly different training times as well as model/data transfer times. Furthermore, availability issues at edge devices can lead to a lack of contribution from specific edge devices to the federated model. In this paper, we present an Asynchronous Online Federated Learning (ASO- fed) framework, where the edge devices perform online learning with continuous streaming local data and a central server aggregates model parameters from local clients. Our framework updates the central model in an asynchronous manner to tackle the challenges associated with both varying computational loads at heterogeneous edge devices and edge devices that lag behind or dropout. Experiments on three real-world datasets show the effectiveness of ASO-fed on lowering the overall training cost and maintaining good prediction performance.

연구 동기 및 목표

• 실세계의 이질적인 디바이스를 가진 에지 환경에서 동기 FedAvg의 한계를 해결하기 위해.
• 비동기 집합을 통해 학습 비용을 감소시키고 모델 수렴을 향상시키기 위해.
• 고정된 동기화 주기 없이 스트리밍 데이터를 처리하는 지속적인 온라인 학습을 에지 디바이스에서 지원하기 위해.
• 변동하는 디바이스 가용성, 계산 부하 및 통신 지연에도 불구하고 높은 예측 성능을 유지하기 위해.

제안 방법

• ASO-fed는 신규 데이터 도착 시 점진적으로 업데이트되는 온라인 학습을 에지 디바이스에서 수행한다.
• 중앙 서버는 클라이언트의 모델 업데이트를 학습 주기와 분리된 채로 비동기적으로 집계한다.
• 클라이언트 기여도와 시점에 따라 가중치를 적용하여 다양한 데이터 품질과 디바이스 신뢰성에 대응한다.
• 지속적인 글로벌 모델 유지 전략을 통해 장애 발생 및 변동하는 통신 지연을 동적으로 처리한다.
• 이벤트 기반 실시간 집합을 지원하는 파라미터 서버 아키텍처를 사용한다.
• 동기화 병목 현상을 피함으로써 다양한 컴퓨팅 성능, 메모리 용량 및 대역폭을 가진 이질적인 에지 디바이스를 지원한다.

실험 결과

연구 질문

• RQ1 비동기 집합이 동기 FedAvg에 비해 수렴성과 모델 정확도에 미치는 영향은 어떠한가?
• RQ2 데이터 및 시스템 이질성 하에서 에지 디바이스에서의 온라인 학습이 학습 효율성 향상에 기여하는가?
• RQ3 디바이스 장애 또는 변동하는 업데이트 주기 상황에서 ASO-fed의 학습 비용과 모델 성능은 어떻게 되는가?
• RQ4 실세계의 에지 환경에서 비동기 집합이 모델 안정성과 수렴 속도에 어떤 영향을 미치는가?
• RQ5 ASO-fed는 이질적인 에지 디바이스 간의 다양한 데이터 분포와 통신 지연을 어떻게 처리하는가?

주요 결과

• 동기화 오버헤드를 제거하고 디바이스 가용성의 변동성에 적응함으로써 전체 학습 비용을 감소시킨다.
• 디바이스 이질성과 장애 상황에도 불구하고 세 개의 실세계 데이터셋에서 높은 예측 성능을 유지한다.
• 비동기 집합은 동기 FedAvg에 비해 더 빠른 수렴과 더 나은 에지 디바이스 활용도를 가능하게 한다.
• 일부 디바이스가 드물게 기여하거나 지연된 업데이트를 제공하더라도 모델은 안정적인 성능을 유지한다.
• 시스템은 재학습 주기 없이 스트리밍 데이터를 지속적으로 처리할 수 있도록 지원한다.
• 실험 결과 ASO-fed는 현실적인 에지 조건 하에서 학습 효율성과 모델 정확도 면에서 FedAvg를 능가함을 확인한다.