[논문 리뷰] Recent Advances on Federated Learning: A Systematic Survey

Bingyan Liu, Nuoyan Lv외 2명|arXiv (Cornell University)|2023. 01. 03.

Privacy-Preserving Technologies in Data인용 수 8

한 줄 요약

federated learning의 체계적 고찰로, 네 가지 측면 분류법을 도입하고, aggregation, heterogeneity, security, 및 fairness 방법, 프레임워크, 및 향후 방향을 검토한다.

ABSTRACT

Federated learning has emerged as an effective paradigm to achieve privacy-preserving collaborative learning among different parties. Compared to traditional centralized learning that requires collecting data from each party, in federated learning, only the locally trained models or computed gradients are exchanged, without exposing any data information. As a result, it is able to protect privacy to some extent. In recent years, federated learning has become more and more prevalent and there have been many surveys for summarizing related methods in this hot research topic. However, most of them focus on a specific perspective or lack the latest research progress. In this paper, we provide a systematic survey on federated learning, aiming to review the recent advanced federated methods and applications from different aspects. Specifically, this paper includes four major contributions. First, we present a new taxonomy of federated learning in terms of the pipeline and challenges in federated scenarios. Second, we summarize federated learning methods into several categories and briefly introduce the state-of-the-art methods under these categories. Third, we overview some prevalent federated learning frameworks and introduce their features. Finally, some potential deficiencies of current methods and several future directions are discussed.

연구 동기 및 목표

• 새로운 federated learning 분류법을 파이프라인과 도전과제(aggregation, heterogeneity, privacy, fairness)에 기초해 제시한다.
• 각 분류 범주 내에서 최첨단 FL 방법을 요약한다.
• 현행 프레임워크와 그 특징을 개관한다.
• FL 연구의 현재 결함을 논의하고 향후 방향을 제안한다.

제안 방법

• FL 접근법을 주요 파이프라인 및 도전과제와 일치시키는 분류법을 제안한다.
• aggregation 최적화, heterogeneous FL, secure FL, 및 fair FL로 FL 방법을 분류한다.
• 각 범주에 속하는 대표적 방법의 간략한 설명을 제공한다(예: FedAvg, FedMA, FedProx).
• FL 프레임워크와 그 배치(deployment) 측면을 조사한다.
• FL의 한계와 향후 연구 방향을 논의한다.

실험 결과

연구 질문

• RQ1 FL 파이프라인과 도전에 기반한 효과적인 분류법은 무엇인가?
• RQ2 aggregation 최적화, 이질적 FL, secure FL, 및 fair FL에서 선도적인 방법은 무엇인가?
• RQ3 실용적 배치를 위한 기능을 제공하는 존재하는 FL 프레임워크는 무엇인가?
• RQ4 현행 FL 방법의 결함은 무엇이며 가장 유망한 향후 방향은 무엇인가?

주요 결과

• 네 가지 사례 분류법을 도입한다: aggregation 최적화, 이질적 연합 학습(heterogeneous federated learning), secure federated learning, 및 fair federated learning.
• 분류법 전반의 대표적 방법과 프레임워크를 검토하여 최신 진전을 반영한다.
• 개인정보 보호, 보안 위협, 그리고 공정성 이슈를 FL 연구의 핵심 과제로 강조한다.
• FL 이론과 실행의 발전을 위한 잠재적 결함을 논의하고 향후 방향을 제시한다.
• 2020년 이후 FL 연구의 증가 추세와 시의적절하고 포괄적인 설문의 필요성을 지적한다.