[논문 리뷰] Topology-aware Federated Learning in Edge Computing: A Comprehensive Survey

Jiajun Wu, Steve Drew외 3명|arXiv (Cornell University)|2023. 02. 06.

Privacy-Preserving Technologies in Data참고 문헌 158인용 수 7

한 줄 요약

이 종합 검토는 이질적이고 동적인 엣지 컴퓨팅 네트워크를 위한 토폴로지 인지형 연합학습(FL) 프레임워크를 제안하며, 별자리형, 트리형, 탈중앙형, 하이브리드형 토폴로지 구조를 활용하여 통신 효율성, 프라이버시, 장애 내성 등을 최적화한다. 이는 토폴로지 인지 설계가 실제 엣지 환경에서 수렴 속도를 크게 향상시키고, 통신 오버헤드를 감소시키며, 모델 공정성과 내성력을 향상시킨다는 것을 입증한다.

ABSTRACT

The ultra-low latency requirements of 5G/6G applications and privacy constraints call for distributed machine learning systems to be deployed at the edge. With its simple yet effective approach, federated learning (FL) is a natural solution for massive user-owned devices in edge computing with distributed and private training data. FL methods based on FedAvg typically follow a naive star topology, ignoring the heterogeneity and hierarchy of the volatile edge computing architectures and topologies in reality. Several other network topologies exist and can address the limitations and bottlenecks of the star topology. This motivates us to survey network topology-related FL solutions. In this paper, we conduct a comprehensive survey of the existing FL works focusing on network topologies. After a brief overview of FL and edge computing networks, we discuss various edge network topologies as well as their advantages and disadvantages. Lastly, we discuss the remaining challenges and future works for applying FL to topology-specific edge networks.

연구 동기 및 목표

• 실제 엣지 네트워크에서의 바닐라 FedAvg의 한계를 해결하기 위해 네트워크 이질성과 동적 토폴로지를 간과하는 문제를 다루기.
• 별자리형, 트리형, 탈중앙형, 하이브리드형 등 다양한 네트워크 토폴로지가 엣지 기반 FL에서 통신 효율성, 모델 수렴, 시스템 강건성에 미치는 영향을 조사하기.
• 기기 이질성, 불안정한 연결, 프라이버시 泄露, 노이즈가 많은 기기로 인한 불공정한 모델 업데이트와 같은 엣지 FL의 핵심 과제를 식별하고 해결하기.
• 탈중앙형 및 계층형 엣지 FL 아키텍처에서 에너지 효율성, 모델 공정성, 가용성을 향상시키기 위한 토폴로지 인지 솔루션을 제안하기.
• 기본 네트워크 토폴로지에 기반한 기존 FL 프레임워크 및 알고리즘의 포괄적 분류 체계와 분석 제공하기.

제안 방법

• 기기 가용성, 대역폭, 에너지 제약 조건에 따라 동적으로 통신 패턴을 조정하는 토폴로지 제어 메커니즘을 도입하여 통신 비용을 감소시키고 신뢰성을 향상시키기.
• 크로스클러스터 모델 업데이트를 통합한 기회 기반 라우팅 및 모델 집계 전략을 제안하여 노이즈가 많거나 지배적인 엣지 기기로 인한 편향을 완화하기.
• 변경되는 이웃 집합을 통해 모델 혼합을 수행하는 프라이버시 보존 기법을 통합하여 차별적 프라이버시 공격에 대한 취약성을 감소시키기.
• 물리적 클러스터 위에 고가용성 인식 오버레이 네트워크를 설계하여 복제 및 중복성을 통해 장애 내성과 부하 분산을 실현하기.
• 실제 엣지 조건 하에서 수렴 속도, 통신 라운드 수, 에너지 소비, 모델 공정성 등의 지표를 사용해 토폴로지별 FL 성능을 평가하기.

Figure 1 . An example showing the statistical heterogeneity among different types of clients in FL. Depending on how the clients generate data, the statistical distributions and patterns of data on each device can be very different.

실험 결과

연구 질문

• RQ1 별자리형, 트리형, 메시형 등 다양한 네트워크 토폴로지가 엣지 네트워크에서의 연합학습에서 통신 효율성과 수렴에 어떤 영향을 미치는가?
• RQ2 기기 이질성, 불안정한 연결, 간헐적 연결성 등의 영향을 완화하기 위해 어떤 토폴로지 제어 전략이 효과적인가?
• RQ3 클러스터 기반 FL 아키텍처에서 지배적이거나 노이즈가 많은 엣지 기기로 인한 편향을 줄이기 위해 토폴로지 인지 설계는 어떻게 모델 공정성과 편향 감소에 기여하는가?
• RQ4 동적 토폴로지 적응이 모델 노출과 차등 프라이버시 위험을 줄여 프라이버시 보존을 어떻게 향상시키는가?
• RQ5 오버레이 토폴로지와 복제 기법은 엣지 서버에서의 모델 집계 과정에서 고가용성과 장애 내성 확보에 어떤 역할을 하는가?

주요 결과

• 토폴로지 인지형 FL 설계는 고지연 또는 대역폭 제약이 있는 엣지 환경에서 표준 FedAvg에 비해 통신 라운드 수를 감소시키고 수렴 속도를 향상시킨다.
• 하이브리드형 및 탈중앙형 토폴로지(예: 메시형, 게이트웨이 기반)는 동적이고 신뢰성이 떨어지는 네트워크에서 별자리형 토폴로지보다 더 우수한 장애 내성과 부하 분산 성능을 보인다.
• 크로스클러스터 모델 업데이트를 통합한 기회 기반 라우팅은 지배적이거나 노이즈가 많은 기기가 있는 클러스터에서 국소 모델의 공정성을 크게 향상시킨다.
• 변경 가능한 이웃 집합을 통한 동적 모델 혼합을 통해 토폴로지 인지 네트워크에서 모델 노출 패턴의 다양성을 증가시켜 차등 프라이버시 공격 위험을 감소시킨다.
• 오버레이 네트워크 토폴로지는 복제 및 장애 복구를 통해 개별 클러스터 헤드 장애 발생 시에도 모델 집계 작업의 고가용성을 보장한다.
• 에너지 인지형 토폴로지 제어는 중복 전송을 최소화하고 데이터 라우팅 경로를 최적화하여 엣지 기기의 전력 소비를 감소시킨다.

Figure 2 . A demonstration of system heterogeneity. Three different tiers of edge devices have distinct capabilities of computing, connected by links with different bandwidths.