[논문 리뷰] Bandwidth Allocation for Multiple Federated Learning Services in Wireless Edge Networks

Jie Xu, Heqiang Wang외 1명|arXiv (Cornell University)|2021. 01. 10.

Privacy-Preserving Technologies in Data참고 문헌 41인용 수 6

한 줄 요약

이 논문은 무선 엣지 네트워크에서 공존하는 다수의 페더레이티드 러닝(FL) 서비스를 위한 이중 수준 대역폭 할당 프레임워크를 제안하며, 서비스 내 클라이언트 대역폭 최적화와 서비스 간 자원 공유를 동시에 고려한다. 협력적인 제공자에게는 분산 알고리즘을, 이기적인 제공자에게는 경매 기반 기법을 도입하여 더 빠른 FL 수렴 속도와 이질적인 클라이언트 및 채널 조건 하에서 개선된 공정성을 달성한다.

ABSTRACT

This paper studies a federated learning (FL) system, where extit{multiple} FL services co-exist in a wireless network and share common wireless resources. It fills the void of wireless resource allocation for multiple simultaneous FL services in the existing literature. Our method designs a two-level resource allocation framework comprising \emph{intra-service} resource allocation and \emph{inter-service} resource allocation. The intra-service resource allocation problem aims to minimize the length of FL rounds by optimizing the bandwidth allocation among the clients of each FL service. Based on this, an inter-service resource allocation problem is further considered, which distributes bandwidth resources among multiple simultaneous FL services. We consider both cooperative and selfish providers of the FL services. For cooperative FL service providers, we design a distributed bandwidth allocation algorithm to optimize the overall performance of multiple FL services, meanwhile cater to the fairness among FL services and the privacy of clients. For selfish FL service providers, a new auction scheme is designed with the FL service owners as the bidders and the network provider as the auctioneer. The designed auction scheme strikes a balance between the overall FL performance and fairness. Our simulation results show that the proposed algorithms outperform other benchmarks under various network conditions.

연구 동기 및 목표

• 공유 무선 네트워크에서 다수의 공존하는 페더레이티드 러닝(FL) 서비스를 위한 무선 자원 할당 측면에서의 격차를 해소한다.
• 서비스 내 클라이언트 할당과 서비스 간 자원 할당을 동시에 최적화하는 이중 수준 대역폭 할당 문제를 체계화한다.
• 클라이언트 프라이버시를 유지하면서도 동적 서비스 도착 및 퇴출을 지원하면서도 FL 서비스 간 공정성을 확보한다.
• 협력적 및 이기적인 FL 서비스 제공자 모두를 대응할 수 있는 별도의 할당 메커니즘을 제공한다.
• 이질적인 클라이언트 수와 채널 조건 하에서도 전체 시스템의 FL 성능과 대역폭 분배의 공정성 간 균형을 유지한다.

제안 방법

• 서비스 내(클라이언트 수준) 및 서비스 간(FL 서비스 수준) 대역폭 할당을 고려한 이중 수준 자원 할당 프레임워크를 설계한다.
• 협력적 제공자에게는 볼록 최적화와 이중 분해를 활용해 클라이언트 대역폭과 서비스 간 공정성을 동시에 최적화하는 분산 알고리즘을 개발한다.
• 이기적인 제공자에게는 FL 서비스 소유자가 대역폭을 입찰하는 새로운 경매 메커니즘을 제안하며, 네트워크 제공자가 입찰자로 기능한다.
• 모든 FL 서비스의 자원 고갈을 방지하기 위해 최적화 과정에 공정성 제약 조건을 통합한다.
• FL 학습 과정을 모델 다운로드, 로컬 학습, 파ameter 업로드를 반복하는 라운드 시퀀스로 모델링하며, 대역폭이 각 라운드의 지속 시간에 영향을 준다.
• 비볼록 대역폭 할당 문제를 해결하기 위해 볼록 근사화 및 반복적 알고리즘을 활용하여 수렴성과 확장성을 보장한다.

실험 결과

연구 질문

• RQ1 공유 무선 엣지 네트워크에서 다수의 공존하는 FL 서비스 간에 대역폭을 효율적으로 할당하는 방법은 무엇인가?
• RQ2 각 개별 서비스의 FL 라운드 지속 시간을 최소화하는 데 최적의 서비스 내 대역폭 할당 전략은 무엇인가?
• RQ3 경쟁하는 다수의 FL 서비스 간의 전체 시스템 성능과 공정성 간 균형을 유지하기 위해 서비스 간 대역폭 할당은 어떻게 설계할 수 있는가?
• RQ4 FL 서비스 제공자가 이기적일 경우, 공정성과 프라이버시를 보장하기 위한 메커니즘은 무엇인가?
• RQ5 클라이언트 이질성(수와 채널 조건)은 제안된 대역폭 할당 기법의 성능에 어떤 영향을 미치는가?

주요 결과

• 협력적 제공자에게 적용된 제안된 분산 알고리즘은 기준 대비 더 빠른 FL 수렴을 달성하며, 특히 높은 클라이언트 및 채널 이질성 조건에서 두드러진 성능 향상을 보였다.
• 이기적 제공자에게 적용된 경매 기반 기법은 시스템 효율성과 공정성 간 균형을 유지하며, 단순 할당 전략보다 뛰어난 성능을 보였다.
• 10개의 동적 FL 서비스를 대상으로 한 장기 시뮬레이션에서 제안된 알고리즘은 기준 방법 대비 평균 FL 서비스 지속 시간을 최대 30% 감소시켰다.
• 제안된 알고리즘의 성능 향상은 클라이언트 수와 채널 조건의 이질성이 높아질수록 증가하여 실제 환경에서의 강건성을 입증했다.
• FL 서비스의 평균 도착 간격이 증가함에 따라(즉, 공존하는 서비스 수가 감소함에 따라), 대역폭 경쟁이 감소하여 평균 FL 지속 시간이 감소하였다.
• 이질성이 증가함에 따라 평균 지속 시간의 표준편차가 증가하지만, 제안된 알고리즘은 낮은 평균 지속 시간을 유지하여 불확실성 하에서도 일관된 성능을 보였다.