[논문 리뷰] Client Selection and Bandwidth Allocation in Wireless Federated Learning Networks: A Long-Term Perspective

Jie Xu, Heqiang Wang|arXiv (Cornell University)|2020. 04. 09.

Privacy-Preserving Technologies in Data참고 문헌 33인용 수 16

한 줄 요약

이 논문은 시간적 상관관계와 클라이언트 에너지 제약를 고려한 장기적 시각에서, 무선 피어드 학습 네트워크에서 동시 클라이언트 선택 및 대역폭 할당을 위한 온라인 알고리즘인 OCEAN을 제안한다. 리아풀로프 최적화를 활용하고 가상의 에너지 부족 큐를 도입함으로써, 오직 현재 채널 상태 정보(CSI)만을 사용하여 근사 최적의 학습 성능를 달성하며, 장기적 영향을 忽시하는 전통적인 라운드별 방법보다 뚜렷이 뛰어나다.

ABSTRACT

This paper studies federated learning (FL) in a classic wireless network, where learning clients share a common wireless link to a coordinating server to perform federated model training using their local data. In such wireless federated learning networks (WFLNs), optimizing the learning performance depends crucially on how clients are selected and how bandwidth is allocated among the selected clients in every learning round, as both radio and client energy resources are limited. While existing works have made some attempts to allocate the limited wireless resources to optimize FL, they focus on the problem in individual learning rounds, overlooking an inherent yet critical feature of federated learning. This paper brings a new long-term perspective to resource allocation in WFLNs, realizing that learning rounds are not only temporally interdependent but also have varying significance towards the final learning outcome. To this end, we first design data-driven experiments to show that different temporal client selection patterns lead to considerably different learning performance. With the obtained insights, we formulate a stochastic optimization problem for joint client selection and bandwidth allocation under long-term client energy constraints, and develop a new algorithm that utilizes only currently available wireless channel information but can achieve long-term performance guarantee. Further experiments show that our algorithm results in the desired temporal client selection pattern, is adaptive to changing network environments and far outperforms benchmarks that ignore the long-term effect of FL.

연구 동기 및 목표

• 기존 피어드 학습(FL) 자원 할당 방법이 각 훈련 라운드를 독립적으로 다루며 장기적 상관관계와 클라이언트 에너지 제약를 忽시한다는 격차를 해결하기 위해.
• 균일, 초기 편향, 후기 편향 등의 시간적 클라이언트 선택 패턴이 다수 라운드에 걸쳐 최종 FL 성능에 미치는 영향을 조사하기 위해.
• 변동하는 채널 조건과 유한한 클라이언트 에너지 예산 하에서 장기적 클라이언트 에너지 제약 조건을 고려한 동시 클라이언트 선택 및 대역폭 할당을 위한 스토하스틱 최적화 문제를 수립하기 위해.
• 오직 현재 무선 채널 정보만을 사용하면서도 장기적 성능 및 에너지 준수를 보장하는 실용적인 온라인 알고리즘을 설계하기 위해.
• 후기 FL 라운드에서 더 많은 클라이언트를 선택하는 것이 초기 라운드 선택보다 모델 정확도와 강건성 측면에서 더 유리한가를 검증하기 위해.

제안 방법

• 유한한 클라이언트 에너지 예산과 시간에 따라 변하는 채널 조건 하에서 장기적 스토하스틱 최적화 문제를 클라이언트 선택 및 대역폭 할당에 대해 수립한다.
• 리아풀로프 최적화를 통해 문제를 각 라운드의 하위 문제 시퀀스로 전환하기 위해 각 클라이언트의 가상 에너지 부족 큐를 도입한다.
• 오직 현재 채널 상태 정보(CSI)만을 사용하여 각 라운드에서 유한한 수의 볼록 최적화 문제를 해결하는 OCEAN이라는 온라인 알고리즘을 개발한다. 이는 낮은 복잡도와 실시간 실행 가능성을 보장한다.
• 드리프트 플러스 페널티 프레임워크를 사용하여 학습 유틸리티와 에너지 큐 안정성 간의 균형을 맞추며, 시간에 따라 변화하는 페널티 가중치 $ V_m $ 를 도입하여 학습 성능 우선 순위를 조정한다.
• 매 $ R $ 라운드마다 에너지 부족 큐를 프레임 기반으로 리셋하는 메커니즘을 도입하여 큐 크기를 유한하게 유지하고 에너지 제약 준수를 보장한다.
• 이론적 성능 한계를 유도하여, $ V_m $ 가 증가할수록 알고리즘의 누적 학습 유틸리티가 최적의 오프라인 해에 수렴함을 보여준다.

실험 결과

연구 질문

• RQ1 각 FL 라운드가 최종 모델 성능에 기여하는 정도가 시간에 따라 변하는가? 만약 그렇다면, 자원 할당은 어떻게 적응해야 하는가?
• RQ2 서로 연관된 라운드와 클라이언트 에너지 예산을 고려한 장기적 최적화 프레임워크가, 전통적인 라운드별 자원 할당 방식보다 무선 피어드 학습에서 더 우수한 성능을 낼 수 있는가?
• RQ3 후기 라운드에서 더 많은 클라이언트를 선택하는 것이 초기 라운드 선택보다 모델 정확도와 강건성 측면에서 더 유리한가?
• RQ4 오직 현재 CSI만을 사용하는 온라인 알고리즘이 미래 채널 상태 예측 없이도 장기적 성능 보장을 달성할 수 있는가?
• RQ5 제안된 OCEAN 알고리즘은 시간과 클라이언트 간에 학습 유틸리티와 에너지 소비를 어떻게 균형 잡는가?

주요 결과

• 실험 결과, 후기 라운드에서 더 많은 클라이언트를 선택할 경우 초기 라운드 선택 대비 더 높은 모델 정확도와 낮은 훈련 손실을 기록하며, 강건성도 향상됨을 확인하였다.
• OCEAN 알고리즘은 최적의 오프라인 해로부터 $ O(1/V_m) $ 수준의 누적 학습 유틸리티를 달성하며, $ V_m $ 가 증가할수록 격차가 점점 줄어든다.
• 에너지 부족 큐의 유한성으로 증명된 바와 같이, OCEAN은 각 클라이언트의 총 에너지 소비가 유한한 예산 내에 유지됨을 보장한다.
• 알고리즘은 안정된 큐 크기를 유지하며, $ q_k(mR+R) \leq \sqrt{2R(V_m \eta^t K + C_1)} $ 를 만족하여 장기적 실행 가능성을 확보한다.
• 장기적 영향을 忽시하는 벤치마크 알고리즘보다 OCEAN이 특히 변동성이 큰 채널 조건을 가진 동적 네트워크 환경에서 뛰어난 성능을 보였다.
• 이론적 분석을 통해, 미래 지식 없이도 시간에 따라 변하는 채널 조건 하에서 알고리즘의 성능이 최적 해로 수렴한다는 것이 확인되었다.