[논문 리뷰] Multi-Stage Hybrid Federated Learning over Large-Scale Wireless Fog Networks.

Seyyedali Hosseinalipour, Sheikh Shams Azam외 5명|arXiv (Cornell University)|2020. 07. 18.

Privacy-Preserving Technologies in Data참고 문헌 23인용 수 11

한 줄 요약

이 논문은 다층 파arameter 전달과 계층적 클러스터 간 분산 공감을 결합한 새로운 피어드 학습 프레임워크인 다단계 하이브리드 모델 훈련(MH-MT)을 제안한다. 이는 계층적 클러스터당 공감 라운드를 적응적으로 조정하여 더 빠른 수렴과 자원 활용도 향상을 달성하며, 이론적 수렴 경계와 정책으로 인해 다양한 네트워크 및 모델 조건 하에서 유한한 최적성 갭 또는 전역 최적해에 수렴함을 보장한다.

ABSTRACT

One of the popular methods for distributed machine learning (ML) is federated learning, in which devices train local models based on their datasets, which are in turn aggregated periodically by a server. In large-scale fog networks, the star learning topology of federated learning poses several challenges in terms of resource utilization. We develop multi-stage hybrid model training (MH-MT), a novel learning methodology for distributed ML in these scenarios. Leveraging the hierarchical structure of fog systems, MH-MT combines multi-stage parameter relaying with distributed consensus formation among devices in a hybrid learning paradigm across network layers. We theoretically derive the convergence bound of MH-MT with respect to the network topology, ML model, and algorithm parameters such as the rounds of consensus employed in different clusters of devices. We obtain a set of policies for the number of consensus rounds at different clusters to guarantee either a finite optimality gap or convergence to the global optimum. Subsequently, we develop an adaptive distributed control algorithm for MH-MT to tune the number of consensus rounds at each cluster of local devices over time to meet convergence criteria. Our numerical experiments validate the performance of MH-MT in terms of convergence speed and resource utilization.

연구 동기 및 목표

• 대규모 무선 안개 네트워크 내 성형 구조 피어드 학습에서 자원 활용도가 떨어지는 문제를 해결한다.
• 기존 피어드 학습에서 중심 집합 방식의 파rameter 집합으로 인한 확장성 및 통신 병목 현상을 극복한다.
• 안개 컴퓨팅의 계층적 구조를 활용하여 지연과 대역폭 사용을 줄인 분산 계층 훈련을 가능하게 한다.
• 네트워크 토폴로지, 모델 복잡도, 알고리즘 파라미터에 따라 제안된 하이브리드 훈련 프레임워크의 수렴 행동을 이론적으로 분석한다.
• 수렴을 전역 최적해 또는 유한한 최적성 갭으로 보장하기 위해 클러스터당 공감 라운드 수를 동적으로 조정할 수 있는 적응형 제어 정책을 개발한다.

제안 방법

• 안개 네트워크 클러스터 간 계층적 레이어에 걸쳐 모델 집합을 분할하는 다단계 하이브리드 훈련 프레임워크를 설계한다.
• 각 클러스터 내 장치 간 분산 공감 형성을 구현하여 중앙 서버의 조율에 의존도를 낮춘다.
• 네트워크 토폴로지, 모델 아키텍처, 클러스터당 공감 라운드 수에 따라 의존하는 MH-MT의 이론적 수렴 경계를 도입한다.
• 유한한 최적성 갭 또는 전역 최적해에 수렴하도록 보장하기 위해 클러스터당 공감 라운드 수에 대한 최적 정책을 유도한다.
• 수렴 기준과 현지 네트워크 조건에 기반해 실시간으로 공감 라운드 수를 조정하는 적응형 분산 제어 알고리즘을 개발한다.
• 수치 실험을 통해 다양한 네트워크 및 모델 구성 조건 하에서 수렴 속도와 자원 효율성 측면에서 성능을 검증한다.

실험 결과

연구 질문

• RQ1 성형 구조의 제약이 있는 대규모 계층적 안개 네트워크에서 피어드 학습을 어떻게 재구성하여 자원 활용도를 향상시킬 수 있는가?
• RQ2 파라미터 전달과 분산 공감을 융합한 다단계 하이브리드 훈련 프레임워크의 이론적 수렴 행동은 어떠한가?
• RQ3 MH-MT에서 전역 최적해 또는 유한한 최적성 갭으로 수렴하기 위해 클러스터당 공감 라운드 수에 대해 어떤 정책이 필요한가?
• RQ4 수렴 조건을 충족하면서 자원 사용을 최소화하기 위해 클러스터 간 공감 라운드 수를 어떻게 적응적으로 제어할 수 있는가?
• RQ5 MH-MT는 대규모 무선 안개 네트워크에서 표준 피어드 학습에 비해 수렴 속도와 통신 효율성 측면에서 어느 정도 뛰어나게 성능을 발휘하는가?

주요 결과

• MH-MT는 클러스터 내 분산 공감을 통해 중앙 서버 부담을 줄여 기존 피어드 학습보다 더 빠른 수렴을 달성한다.
• 이론적 분석을 통해 MH-MT는 클러스터당 공감 라운드 수에 따라 전역 최적해에 수렴하거나 유한한 최적성 갭을 유지함을 확인한다.
• 네트워크 토폴로지, 모델 복잡도, 알고리즘 파라미터를 바탕으로 클러스터당 공감 라운드 수에 대한 최적 정책을 도출하였으며, 이는 수렴 보장을 가능하게 한다.
• 적응형 분산 제어 알고리즘은 전역 모델 동역학에 대한 사전 지식 없이도 클러스터당 공감 라운드 수를 실시간으로 조정하여 수렴 효율성을 향상시킨다.
• 수치 실험을 통해 다양한 네트워크 및 모델 구성 조건에서 수렴 속도와 자원 활용도가 뚜렷이 향상됨을 입증한다.
• MH-MT는 집중식 집합을 탈피하고 계층적 클러스터링을 활용함으로써 대규모 안개 네트워크에서의 통신 병목 현상을 효과적으로 완화한다.