[논문 리뷰] Convergence Acceleration in Wireless Federated Learning: A Stackelberg Game Approach

Kaidi Wang, Yi Ma외 4명|arXiv (Cornell University)|2022. 09. 14.

Age of Information Optimization인용 수 6

한 줄 요약

이 논문은 장치 선택, 서브채널 할당, 자원 할당을 공동으로 최적화함으로써 무선 페더레이티드 러닝에서 수렴 속도를 가속화하기 위한 스택엘베르크 게임 기반 프레임워크를 제안한다. 장치 선택을 리더 수준의 전역 손실 최소화 문제로 모델링하고 자원 할당을 팔로워 수준의 지연 최소화 문제로 모델링함으로써, 기존 방법에 비해 더 빠른 수렴과 더 낮은 계산/통신 시간을 달성한다.

ABSTRACT

This paper studies issues that arise with respect to the joint optimization for convergence time in federated learning over wireless networks (FLOWN). We consider the criterion and protocol for selection of participating devices in FLOWN under the energy constraint and derive its impact on device selection. In order to improve the training efficiency, age-of-information (AoI) enables FLOWN to assess the freshness of gradient updates among participants. Aiming to speed up convergence, we jointly investigate global loss minimization and latency minimization in a Stackelberg game based framework. Specifically, we formulate global loss minimization as a leader-level problem for reducing the number of required rounds, and latency minimization as a follower-level problem to reduce time consumption of each round. By decoupling the follower-level problem into two sub-problems, including resource allocation and sub-channel assignment, we achieve an optimal strategy of the follower through monotonic optimization and matching theory. At the leader-level, we derive an upper bound of convergence rate and subsequently reformulate the global loss minimization problem and propose a new age-of-update (AoU) based device selection algorithm. Simulation results indicate the superior performance of the proposed AoU based device selection scheme in terms of the convergence rate, as well as efficient utilization of available sub-channels.

연구 동기 및 목표

• 제한된 시간과 에너지 자원 조건 하에서 무선 페더레이티드 러닝(FL)에서 전역 손실 최소화와 지연 간의 트레이드오프를 해결하기 위해.
• 수렴 속도를 가속화하기 위해 장치 선택, 서브채널 할당, 계산 자원 할당, 전력 할당을 공동으로 최적화하기 위해.
• 장치 선택이 선도하고 자원 할당이 따라하는 계층적 의사결정 과정을 스택엘베르크 게임으로 모델링하기 위해.
• 리더 수준 문제의 효율적 해법을 위해 수렴 속도의 상한을 유도하여 문제를 재구성하기 위해.
• 스택엘베르크 균형을 달성하고 수렴 성능을 향상시키기 위해 리스트 기반 장치 선택 알고리즘을 개발하기 위해.

제안 방법

• 장치 선택을 리더 수준 문제로 설정하여 전역 손실을 최소화하고, 자원 할당(서브채널, 계산, 전력)을 팔로워 수준 문제로 설정하여 지연을 최소화하는 스택엘베르크 게임을 수립한다.
• 팔로워 수준 문제를 두 개의 하위 문제로 분해한다: 자원 할당을 위한 단조성 최적화와 매칭 기반 서브채널 할당.
• 리더 수준 문제의 해법 효율성을 향상시키기 위해 수렴 속도의 상한을 유도하여 문제를 다룰 수 있는 형태로 재구성한다.
• 장치의 전역 손실에 기여도를 반복적으로 평가함으로써 스택엘베르크 균형을 달성하는 리스트 기반 장치 선택 알고리즘을 제안한다.
• 장치 선택을 이끄는 데 나이브 오브 인포메이션(AoI)을 지표로 사용하여 모델의 오래됨을 줄이고 수렴을 향상시킨다.
• 이론적 분석을 통해 기대 기울기 노름을 경계하고, 확률적 장치 선택 조건 하에서 수렴 보장을 도출한다.

실험 결과

연구 질문

• RQ1 제한된 시간과 에너지 자원 조건 하에서 무선 페더레이티드 러닝에서 전역 손실을 최소화하기 위해 장치 선택을 어떻게 최적화할 수 있는가?
• RQ2 FL에서 전역 손실과 지연 간 최적의 트레이드오프는 무엇이며, 이를 계층적 의사결정 문제로 어떻게 모델링할 수 있는가?
• RQ3 각 FL 라운드에서 통신 및 계산 지연을 최소화하기 위해 서브채널 할당과 자원 할당을 어떻게 공동으로 최적화할 수 있는가?
• RQ4 스택엘베르크 게임 프레임워크는 장치 선택과 자원 할당을 효과적으로 조율하여 수렴 속도를 가속화하는 데 기여하는가?
• RQ5 AoI 기반 장치 선택은 랜덤 또는 히우리스틱 선택 기법에 비해 어떤 성능 향상을 달성할 수 있는가?

주요 결과

• 제안된 장치 선택 기법은 전역 손실 감소 측면에서 랜덤 및 히우리스틱 선택 방법에 비해 뚜렷한 성능 향상을 보였다.
• 개발된 단조성 최적화 및 매칭 기반 알고리즘은 서브채널과 계산 자원을 효율적으로 할당하여 지연을 효과적으로 최소화했다.
• 시뮬레이션 결과, 제안된 프레임워크는 기준 기반 기법 대비 계산 및 통신에 소요되는 총 시간 소비를 감소시켰다.
• 리스트 기반 장치 선택 알고리즘은 스택엘베르크 균형을 달성하여 각 라운드에서 안정적이고 최적의 장치 참여를 보장했다.
• 수렴 속도의 이론적 상한 덕분에 리더 수준 문제의 재구성이 효과적으로 가능해졌고, 해법의 효율성이 향상되었다.
• AoI를 장치 선택에 통합함으로써 모델의 신선도가 향상되고, 시기적절하고 영향력 있는 업데이트를 우선시함으로써 수렴 속도가 가속화되었다.