[논문 리뷰] TornadoAggregate: Accurate and Scalable Federated Learning via the Ring-Based Architecture

Jin‐Woo Lee, Jaehoon Oh외 3명|arXiv (Cornell University)|2020. 12. 06.

Privacy-Preserving Technologies in Data참고 문헌 38인용 수 26

한 줄 요약

TornadoAggregate는 고분산 문제를 해결하기 위해 고려된 링 아키텍처의 정확도와 확장성을 향상시키는 링 기반 분산 학습 알고리즘을 제안한다. 고분산 문제를 줄이기 위해 링 인식 그룹화, 소형 링, 링 체인화의 세 가지 원칙을 도입하여, FedShakespeare 및 MNIST와 같은 데이터셋에서 최대 26.7% 높은 테스트 정확도와 근사 선형 확장성을 달성한다.

ABSTRACT

Federated learning has emerged as a new paradigm of collaborative machine learning; however, many prior studies have used global aggregation along a star topology without much consideration of the communication scalability or the diurnal property relied on clients' local time variety. In contrast, ring architecture can resolve the scalability issue and even satisfy the diurnal property by iterating nodes without an aggregation. Nevertheless, such ring-based algorithms can inherently suffer from the high-variance problem. To this end, we propose a novel algorithm called TornadoAggregate that improves both accuracy and scalability by facilitating the ring architecture. In particular, to improve the accuracy, we reformulate the loss minimization into a variance reduction problem and establish three principles to reduce variance: Ring-Aware Grouping, Small Ring, and Ring Chaining. Experimental results show that TornadoAggregate improved the test accuracy by up to 26.7% and achieved near-linear scalability.

연구 동기 및 목표

• 스타 토폴로지에서의 중앙 집중적 조율 병목 현상 문제를 제거하기 위해 스타 토폴로지에서 링 아키텍처로 전환하여 통신 확장성을 향상시키기.
• 고분산 문제로 인해 모델 정확도가 저하되는 링 기반 분산 학습의 문제를 해결함으로써 정확도와 확장성을 동시에 향상시키기.
• 클라이언트 데이터 분포가 시간에 따라 변하는 상황에서도 중앙 서버에 의존하지 않고도 노드가 반복 학습할 수 있도록 일주성 성질을 지원하기.
• 기존의 스타 및 하이브리드 아키텍처와 비교해 정확도를 유지하거나 향상시키면서도 근사 선형 확장성을 달성하기.
• 실제 모바일 및 엣지 환경에 적합한 확장성 있고 정확하며 통신 효율적인 분산 학습 프레임워크 개발하기.

제안 방법

• 데이터 유사성 기반으로 노드를 그룹화하여 상호 그룹 간 및 노드 간 분산을 최소화하는 링 인식 그룹화 원칙을 도입한다.
• 그룹 크기를 최적화하여 분산을 줄이기 위해 소형 링 원칙을 적용하며, 데이터 그룹화 전략에 따라 각기 다른 그룹 크기(2(IID), 5(랜덤), 10(클러스터링))를 설정한다.
• 효율적인 배치 크기 확대와 노드 활용도 향상을 통해 기울기 분산을 줄이고 학습 중 안정성을 높이기 위해 링 체인화를 구현한다.
• 중앙 집중적 조율 없이 국지적 및 전역적 모델 업데이트를 균형 있게 조정하기 위해 글로벌 및 그룹 수준의 링 아키텍처를 계층적으로 설계한다.
• 중앙 집중 학습을 모방할 수 있도록 반복적인 링 기반 통신을 통해 전역 기울기의 편향 없는 추정을 가능하게 하는 수정된 집계 규칙을 사용한다.
• FedAvg와 같은 기존 분산 학습 프레임워크와의 통합을 통해 후행 호환성과 간편한 구현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 링 기반 분산 학습 아키텍처는 이전의 링 기반 방법에서 나타나는 고분산 문제를 해결하면서도 높은 확장성과 높은 정확도를 동시에 달성할 수 있는가?
• RQ2 링 인식 그룹화, 소형 링 크기, 링 체인화가 함께 작용하여 분산을 어떻게 줄이고 모델 수렴을 향상시키는가?
• RQ3 링 기반 집계는 통신 오버헤드를 줄이면서도 스타 기반 분산 학습의 테스트 정확도에 맞추거나 초월할 수 있는가?
• RQ4 제안된 아키텍처는 클라이언트 데이터 분포가 시간에 따라 변하는 상황에서도 분산 학습의 일주성 성질을 지원하는가?
• RQ5 링 아키텍처는 정확도를 희생시키지 않고 다양한 데이터셋과 클라이언트 그룹화에 대해 근사 선형 확장성을 달성할 수 있는가?

주요 결과

• FedShakespeare 데이터셋에서 TornadoAggregate는 기준선인 FedAvg 대비 최대 26.7% 높은 테스트 정확도를 기록하여 뚜렷한 정확도 향상을 입증했다.
• MNIST 데이터셋에서 TornadoAggregate는 IFCA를 제외한 모든 기준선을 초월하여 링 기반 방법 중 가장 높은 정확도를 달성했다.
• 알고리즘은 근사 선형 확장성을 달성했으며, 훈련 시간이 클라이언트 수에 비례하여 증가함으로써 뛰어난 통신 효율성을 보였다.
• 링 체인화가 배치 크기 활용도를 크게 향상시키고 기울기 분산을 감소시켜 수렴 안정성과 정확도 향상에 기여했다.
• 최적의 그룹 크기(2, 5, 10)를 가진 소형 링 원칙이 비-IID 환경에서 상호 그룹 간 및 내부 그룹 간 분산을 효과적으로 줄였다.
• FedShakespeare 및 MNIST 양측 데이터셋에서 TornadoAggregate는 HierFAVG와 SemiCyclic을 모두 능가했으며, 이는 그 자체의 분산 감소 기법이 단순한 계층적 또는 순환적 접근보다 더 효과적임을 시사한다.