[논문 리뷰] Throughput-Optimal Topology Design for Cross-Silo Federated Learning

Othmane Marfoq, Chuan Xu외 2명|arXiv (Cornell University)|2020. 10. 23.

Privacy-Preserving Technologies in Data참고 문헌 99인용 수 50

한 줄 요약

본 논문은 교차-실로 연합학습에서 최대-합 선형 시스템을 사용하여 시스템 처리량을 극대화하기 위해 크로스-사일로 연합학습 토폴로지를 설계하고, 서버 중심 및 MATCHA 기반 접근법에 비해 학습 속도에서 상당한 증가를 보인다.

ABSTRACT

Federated learning usually employs a client-server architecture where an orchestrator iteratively aggregates model updates from remote clients and pushes them back a refined model. This approach may be inefficient in cross-silo settings, as close-by data silos with high-speed access links may exchange information faster than with the orchestrator, and the orchestrator may become a communication bottleneck. In this paper we define the problem of topology design for cross-silo federated learning using the theory of max-plus linear systems to compute the system throughput---number of communication rounds per time unit. We also propose practical algorithms that, under the knowledge of measurable network characteristics, find a topology with the largest throughput or with provable throughput guarantees. In realistic Internet networks with 10 Gbps access links for silos, our algorithms speed up training by a factor 9 and 1.5 in comparison to the master-slave architecture and to state-of-the-art MATCHA, respectively. Speedups are even larger with slower access links.

연구 동기 및 목표

• Motivation: cross-silo 설정에서 빠른 인터-실로 연결을 활용하여 연합학습 효율성을 높이는 것.
• Goal: 오버레이 연결성을 존중하면서 학습 처리량(초당 회전 행수)을 최대화하는 통신 토폴로지를 설계하는 것.
• Approach: 토폴로지 설계에 네트워크 측정치를 통합하여 max-plus 시스템의 사이클 타임을 최소화하는 것.
• Outcome: 최적 또는 근사 최적 보장을 제공하는 알고리즘을 제시하고 현실적인 네트워크 토폴로지에서 속도 향상을 검증하는 것.

제안 방법

• 로컬 업데이트 및 이웃 간의 통신을 포함하는 동기식 DPASGD로 학습 프로세스를 모델링한다.
• d_o(i,j)=s·T_c(i)+l(i,j)+M/A(i′,j′)를 통해 오버레이 에지의 지연을 표현하고 언더레이, 연결성, 오버레이 그래프를 정의한다.
• 맥스-플러스 대수로 사이클 타임 τ(G_o)=max_γ d_o(γ)/|γ|를 도출하고 처리량을 1/τ(G_o)로 정의한다.
• 엣지-제한(ECC) 및 노드-제한(NCC) 설정에서 토폴로지 설계 알고리즘(MCT 문제)을 제안한다.
• 근사 및 최적성 결과를 제공한다: 엣지-제한된 무방향 오버레이의 MST를 Prim으로 도출; 유클리드 엣지-제한 그래프에서 Christofides를 사용한 3N-근사; 특정 노드-제한 유클리드 경우에 6-근사; 방향성 오버레이에 대한 NP-난이도 결과;
• STAR 및 MATCHA/MATCHA+ 오버레이에 비해 실용적 성능 비교를 보인다.

실험 결과

연구 질문

• RQ1 교차-실로 FL에서 연결성 그래프 G_c 내의 오버레이 G_o를 어떻게 설계하여 사이클 타임을 최소화하고 처리량을 극대화할 수 있는가?
• RQ2 엣지-제한 대 노드-제한, 무방향 대 방향 오버레이에서 Mct의 알고리즘적 보장(최적성/근사)은 무엇인가?
• RQ3 언더레이 지연, 계산 시간, 대기열을 고려할 때 proposed topology design이 학습 시간과 수렴에 어떤 영향을 미치는가?
• RQ4 처리량 중심의 토폴로지가 현실 네트워크에서 서버 중심이나 스펙트럴 최적화 오버레이보다 더 빠른 실제 시간 학습을 낳는가?

주요 결과

• 처리량 극대화를 목표로 설계된 오버레이가 STAR보다 더 빠른 학습 시간을 달성하고 다수의 네트워크에서 MATCHA/MATCHA+보다 더 빠른 경우가 많다.
• RING, MST, 및 δ-MBST 토폴로지가 사이클 타임을 상당히 감소시키며, 느린 접근 구간에서 RING가 STAR보다 최대 2N배 빠를 수 있다.
• i naturalist 실험에서 언더레이/연결 데이터로 설계된 오버레이가 사이클 타임을 크게 개선하고 실시간 속도 향상으로 이어진다.
• 느린 접근 링크의 경우 저차수 오버레이(RING, MST, δ-MBST)가 높은 차수 오버레이보다 각 라운드 지연이 줄어 성능이 우수하다.
• MATCHA+는 일부 기준선보다 우수할 수 있지만 언더레이 지식이 필요하며, 언더레이 가정 없이도 처리량 중심 설계가 실제로는 더 나은 성능을 보인다.