[논문 리뷰] Decentralized Federated Learning: Fundamentals, State of the Art, Frameworks, Trends, and Challenges

Enrique Tomás Martínez Beltrán, Mario Quiles Pérez외 6명|arXiv (Cornell University)|2022. 11. 15.

Privacy-Preserving Technologies in Data참고 문헌 206인용 수 57

한 줄 요약

본 논문은 분산 연합학습(DFL)을 고찰하며 기본 개념, 분류 체계, 프레임워크, 응용 시나리오, 신흥 트렌드, 교훈 및 해결 과제를 명확히 한다. DFL과 CFL을 구분하고 프레임워크를 사용 사례에 매핑한다.

ABSTRACT

In recent years, Federated Learning (FL) has gained relevance in training collaborative models without sharing sensitive data. Since its birth, Centralized FL (CFL) has been the most common approach in the literature, where a central entity creates a global model. However, a centralized approach leads to increased latency due to bottlenecks, heightened vulnerability to system failures, and trustworthiness concerns affecting the entity responsible for the global model creation. Decentralized Federated Learning (DFL) emerged to address these concerns by promoting decentralized model aggregation and minimizing reliance on centralized architectures. However, despite the work done in DFL, the literature has not (i) studied the main aspects differentiating DFL and CFL; (ii) analyzed DFL frameworks to create and evaluate new solutions; and (iii) reviewed application scenarios using DFL. Thus, this article identifies and analyzes the main fundamentals of DFL in terms of federation architectures, topologies, communication mechanisms, security approaches, and key performance indicators. Additionally, the paper at hand explores existing mechanisms to optimize critical DFL fundamentals. Then, the most relevant features of the current DFL frameworks are reviewed and compared. After that, it analyzes the most used DFL application scenarios, identifying solutions based on the fundamentals and frameworks previously defined. Finally, the evolution of existing DFL solutions is studied to provide a list of trends, lessons learned, and open challenges.

연구 동기 및 목표

• DFL과 CFL을 구분하는 기본 요소(아키텍처, 토폴로지, 통신, 보안, KPI)를 식별하고 정의한다.
• DFL을 가능하게 하는 기존의 오픈소스 프레임워크를 목록화하고 비교한다.
• DFL의 응용 시나리오(헬스케어, Industry 4.0, 모바일, 군사, 차량)와 그 요구사항을 분석한다.
• 향후 연구와 실무를 안내하기 위해 트렌드, 교훈 및 도전과제를 도출한다.

제안 방법

• DFL의 기본 구성요소(연합 아키텍처, 토폴로지, 통신 메커니즘, 보안/개인정보 보호, KPI)에 관한 문헌을 검토하고 종합한다.
• 아키텍처, 토폴로지, 데이터 분포, 역할, 탈중앙화에 기초하여 DFL 솔루션을 분류하는 분류체계와 프레임워크를 개발한다.
• 오픈소스 DFL 프레임워크를 조사하고 사용 사례 적용 가능성과 매핑한다.

실험 결과

연구 질문

• RQ1 DFL의 기본적 측면(아키텍처, 토폴로지, 통신, 보안, KPI)은 무엇이며 솔루션에서 어떻게 결합되어 있는가?
• RQ2 어떤 DFL 프레임워크가 존재하며 그것들이 DFL 솔루션 구축을 위해 어떤 기본 요소를 제공하는가?
• RQ3 가장 관련성이 높은 DFL 응용 시나리오의 주요 특징은 무엇인가?
• RQ4 DFL에서 나타난 트렌드, 교훈 및 도전과제는 무엇인가?

주요 결과

• DFL 기본 요소에는 연합 아키텍처, 네트워크 토폴로지, 통신 메커니즘, 보안/개인정보 보호, KPI 및 최적화 기법이 포함된다.
• DFL 아키텍처는 연합 유형(크로스-사일로 vs 크로스-디바이스), 참가자 역할(트레이너, 애그리게이터, 프록시, 아이들), 탈중앙화 스키마(DFL, SDFL, CFL)로 분류된다.
• 다양한 연구가 DFL의 데이터 분포, 토폴로지, 통신, 보안 측면을 어떻게 다루는지 요약한 분류체계와 비교 표를 제시한다.
• 본 논문은 대표적 응용 시나리오(헬스케어, Industry 4.0, 모바일 서비스, 군사, 차량)를 제시하고 해결책이 이를 어떻게 다루는지 논의한다.
• 향후 DFL 연구와 실무를 이끄는 트렌드, 교훈 및 해결 과제의 종합을 제공한다.
• 본 연구는 DFL에 대한 포괄적 문헌 검토 및 분류체계로 자리매김하며, CFL이나 더 좁은 측면에 집중했던 이전 고찰의 공백을 메운다.