[논문 리뷰] Decentralized Federated Learning: A Segmented Gossip Approach

Chenghao Hu, Jingyan Jiang외 1명|arXiv (Cornell University)|2019. 08. 21.

Privacy-Preserving Technologies in Data참고 문헌 14인용 수 135

한 줄 요약

세그먼트로 구분된 가십 기반의 분산 연합 학습 프레임워크(Combo)를 도입하여 모델을 세그먼트로 분할하고, 여러 피어를 이용한 집계로 대역폭 활용을 개선하고 속도와 경쟁력 있는 정확도 향상을 기대합니다.

ABSTRACT

The emerging concern about data privacy and security has motivated the proposal of federated learning, which allows nodes to only synchronize the locally-trained models instead their own original data. Conventional federated learning architecture, inherited from the parameter server design, relies on highly centralized topologies and the assumption of large nodes-to-server bandwidths. However, in real-world federated learning scenarios the network capacities between nodes are highly uniformly distributed and smaller than that in a datacenter. It is of great challenges for conventional federated learning approaches to efficiently utilize network capacities between nodes. In this paper, we propose a model segment level decentralized federated learning to tackle this problem. In particular, we propose a segmented gossip approach, which not only makes full utilization of node-to-node bandwidth, but also has good training convergence. The experimental results show that even the training time can be highly reduced as compared to centralized federated learning.

연구 동기 및 목표

• 분산 학습에서 중앙 서버 없이 데이터 프라이버시를 해결한다.
• 연합 설정에서 노드 간 대역폭을 충분히 활용하여 네트워크 효율성을 향상시킨다.
• 세그먼트 가십 및 모델 복제본을 통해 수렴 및 학습 속도를 보장한다.
• 현실적인 WAN 유사 네트워크에서 세그먼트 가십 집계를 위한 프로토타입 시스템(Combo)을 설계하고 평가한다.

제안 방법

• 전 global model을 중첩되지 않는 세그먼트로 분할하고 세그먼트 단위로 집계한다.
• 피어마다 매 이터레이션에서 여러 모델 세그먼트를 서로 다른 피어로부터 당겨오는 가십 기반 프로토콜을 사용한다(세그먼트 당 pulling).
• 정보 전달 및 수렴을 향상시키기 위해 모델 복제본을 도입한다(혼합 R 모델을 당기고 집계).
• 로컬 데이터세트 크기를 기반으로 한 가중치로 레이어별 세그먼트 단위 가중 평균으로 세그먼트를 집계한다(P_l 및 |D_j|).
• 동적 참여자(join/leave)를 명시적으로 처리하고 동기화를 갖춘 프로토타입(Combo)을 구현한다.

실험 결과

연구 질문

• RQ1 모델이 세그먼트화되고 여러 피어에서 집계될 때 모델 업데이트가 효과적으로 동기화될 수 있는가?
• RQ2 세그먼트 가십이 대역폭 제약이 있는 지리 분산된 연합 설정에서 수렴 및 학습 시간에 어떤 영향을 미치는가?
• RQ3 모델 복제본(R)과 세그먼트화(S)가 수렴 및 통신 효율성에 어떤 영향을 미치는가?
• RQ4 중앙 집중식 조정 없이 시스템이 동적 피어 참여를 어떻게 처리할 수 있는가?
• RQ5 분산 FL에서 세그먼트 가십 집계의 이론적 수렴 특성은 무엇인가?

주요 결과

• Combo는 중앙 집중식 FedAvg에 비해 학습 시간 감소를 크게 달성하면서 최종 정확도가 거의 동일하게 유지한다.
• 세그먼트 수 S를 늘리면 가용 대역폭을 더 잘 포화시켜 동기화 시간을 줄이지만 대역폭이 고갈되면 효과가 감소한다.
• 모델 복제본 수를 늘리면 이터레이션 단위의 정확도와 수렴이 개선되다 일정 지점에서 이익이 plateau하고 오버헤드로 인해 학습 시간이 늘어날 수 있다.
• S=10 및 R=2일 때 Combo는 순수 가십보다 현저히 우수하고 FedAvg보다 20–40 피어에서 더 잘 확장된다.
• 모델 세그먼트는 이터레이션당 정확도를 저하시키지 않으며 세그먼트화가 동기화를 가속화한다.
• 제안된 수렴 분석에서 최종 한계는 그래디언트 발산 δ와 집계 발산 ρ에 의존하는 것으로 보이며 R을 증가시키면 ρ를 All-Reduce 동작으로 감소시킬 수 있다.