[논문 리뷰] Asynchronous Federated Learning on Heterogeneous Devices: A Survey

Chenhao Xu, Youyang Qu외 2명|arXiv (Cornell University)|2021. 09. 09.

Privacy-Preserving Technologies in Data참고 문헌 112인용 수 46

한 줄 요약

본 연구는 이종 디바이스에서의 AFL 변형을 분석하고, 이를 디바이스 이질성, 데이터 이질성, 프라이버시, 보안, 응용 분야로 분류하며, 125편의 논문을 검토하고 도전과제 및 향후 방향을 제시한다.

ABSTRACT

Federated learning (FL) is a kind of distributed machine learning framework, where the global model is generated on the centralized aggregation server based on the parameters of local models, addressing concerns about privacy leakage caused by the collection of local training data. With the growing computational and communication capacities of edge and IoT devices, applying FL on heterogeneous devices to train machine learning models is becoming a prevailing trend. Nonetheless, the synchronous aggregation strategy in the classic FL paradigm, particularly on heterogeneous devices, encounters limitations in resource utilization due to the need to wait for slow devices before aggregation in each training round. Furthermore, the uneven distribution of data across devices (i.e. data heterogeneity) in real-world scenarios adversely impacts the accuracy of the global model. Consequently, many asynchronous FL (AFL) approaches have been introduced across various application contexts to enhance efficiency, performance, privacy, and security. This survey comprehensively analyzes and summarizes existing AFL variations using a novel classification scheme, including device heterogeneity, data heterogeneity, privacy, and security on heterogeneous devices, as well as applications on heterogeneous devices. Finally, this survey reveals rising challenges and presents potentially promising research directions in this under-investigated domain.

연구 동기 및 목표

• 이종 엣지/IoT 디바이스 간 프라이버시를 보장하는 공동 학습을 촉진한다.
• 이종 디바이스에서의 동기식 FL의 한계와 AFL의 필요성을 분석한다.
• 디바이스 이질성, 데이터 이질성, 프라이버시, 보안, 응용 맥락에 기반한 AFL 접근법의 새로운 분류를 제시한다.
• 이종 디바이스에서의 AFL에서의 도전과제를 요약하고 유망한 향후 연구 방향을 제시한다.

제안 방법

• 2019년부터 2022년까지의 AFL 변형에 대한 체계적 문헌 조사를 수행하고 125편의 논문과 7개의 설문조사를 다룬다.
• 디바이스 이질성, 데이터 이질성, 프라이버시, 보안, 응용 맥락에 기반한 새로운 분류 체계를 제안한다.
• 주요 차원인 노드 선택, 가중치 합산, 그래디언트 압축, 준 비동기 FL, 클러스터 FL, 모델 분할에 걸친 AFL 기법을 분석한다.
• 프라이버시/보안을 가능하게 하는 수단으로서 블록체인과 차등 프라이버시의 역할을 논의한다.
• 응용 시나리오를 종합하고 해결되지 않은 도전과제와 향후 연구 방향을 식별한다.

실험 결과

연구 질문

• RQ1 비동기식 FL 접근법이 클래식 FL에 비해 디바이스 이질성과 데이터 이질성을 어떻게 다루는가?
• RQ2 이종 디바이스에서 AFL에 적용 가능하고 효과적인 프라이버시 및 보안 메커니즘은 무엇인가?
• RQ3 이종 디바이스에서 AFL의 현재 응용 도메인은 무엇이며 제시된 미래 연구 방향은 무엇인가?

주요 결과

• 본 설문조사는 2019–2022년의 125편의 연구 논문(관련 설문조사 7편을 포함)을 검토하고 분석한다.
• AFL 변형은 디바이스 이질성, 데이터 이질성, 프라이버시, 보안 및 응용 맥락에 걸쳐 분류되고 요약된다.
• AFL은 이종 디바이스에서의 동기식 FL이 내재하는 디바이스 신뢰성 문제, 느려지는 참가자(stragglers) 및 비효율적인 자원 활용에 대한 해결책으로 제시된다.
• 논문은 이종 디바이스를 위한 AFL의 새로운 도전과제와 유망한 연구 방향을 제시한다.