[논문 리뷰] Cross-Silo Federated Learning for Multi-Tier Networks with Vertical and Horizontal Data Partitioning

Anirban Das, Timothy Castiglia외 2명|arXiv (Cornell University)|2021. 08. 19.

Privacy-Preserving Technologies in Data참고 문헌 35인용 수 4

한 줄 요약

이 논문은 수직 및 수평 데이터 분할이 존재하는 다계층 네트워크를 위한 통신 효율적인 분산 학습 알고리즘인 계층적 탈중앙화 좌표 강하(TDCD)를 제안한다. 각 실리오 내의 클라이언트들은 자신의 허브와 공유하기 전에 다수의 국소 업데이트를 수행하며, 허브들은 중간 업데이트를 교환하여 통신 오버헤드를 감소시키면서도 수렴 보장을 확보한다. 이는 국소 단계 수와 수직 파artition 수에 대한 수렴 속도 의존성에 이론적 보장을 제공한다.

ABSTRACT

We consider federated learning in tiered communication networks. Our network model consists of a set of silos, each holding a vertical partition of the data. Each silo contains a hub and a set of clients, with the silo's vertical data shard partitioned horizontally across its clients. We propose Tiered Decentralized Coordinate Descent (TDCD), a communication-efficient decentralized training algorithm for such two-tiered networks. The clients in each silo perform multiple local gradient steps before sharing updates with their hub to reduce communication overhead. Each hub adjusts its coordinates by averaging its workers' updates, and then hubs exchange intermediate updates with one another. We present a theoretical analysis of our algorithm and show the dependence of the convergence rate on the number of vertical partitions and the number of local updates. We further validate our approach empirically via simulation-based experiments using a variety of datasets and objectives.

연구 동기 및 목표

• 실리오 간 수직 분할 및 실리오 내 수평 분할이 존재하는 다계층 네트워크에서 글로벌 모델을 훈련하는 데 도전 과제를 해결하기 위해.
• 실리오 간 통신 이전에 다수의 국소 업데이트를 允허하여 분산 학습의 통신 오버헤드를 줄이기 위해.
• 복잡한 데이터 분할 및 통신 제약 조건 하에서도 수렴 보장을 유지하는 탈중앙화 학습 알고리즘을 개발하기 위해.
• 국소 단계 수와 수직 파artition 수를 고려한 제안된 알고리즘의 수렴 속도를 이론적으로 분석하기 위해.
• 다양한 데이터셋과 목적에 대해 시뮬레이션을 통해 접근 방식을 실증적으로 검증하기 위해.

제안 방법

• TDCD는 두 계층 네트워크에서 작동한다: 각 실리오 내 클라이언트는 허브 업데이트 이전에 다수의 국소 기울기 단계를 수행한다.
• 각 허브는 좌표 평균을 통해 클라이언트의 업데이트를 집계하여 모델 일관성을 유지한다.
• 허브들은 상호 간 중간 모델 업데이트를 교환하여 실리오 간 진전을 동기화한다.
• 이 알고리즘은 탈중앙화 좌표 강하 프레임워크를 사용하며, 각 실리오는 모델 좌표의 부분집합만 최적화한다.
• 이론적 분석을 통해 수렴 속도의 경계를 도출하여, 수직 파artition 수와 국소 업데이트 단계 수에 의존함을 보여준다.
• 핵심 기여 중 하나는 유한한 기울기 및 노이즈 조건 하에서 비볼록 최적화에 대해 수렴 경계를 유도한 것이다.

실험 결과

연구 질문

• RQ1 수직 및 수평 데이터 분할이 존재하는 다계층 네트워크에서 분산 학습을 어떻게 효율적으로 확장할 수 있는가?
• RQ2 다수의 국소 업데이트가 수직 분산 학습에서 수렴성과 통신 효율성에 어떤 영향을 미치는가?
• RQ3 수직 파artition 수(즉, 실리오 수)가 글로벌 모델의 수렴 속도에 어떤 영향을 미치는가?
• RQ4 탈중앙화되고 통신 효율적인 알고리즘이 이러한 복잡한 네트워크 및 데이터 구조에서 수렴 보장을 유지할 수 있는가?
• RQ5 이 설정에서 국소 계산과 통신 빈도 사이의 상충 관계는 어떠한가?

주요 결과

• TDCD는 수렴을 달성하며, 이론적 경계를 통해 수렴 속도가 수직 파artition 수와 통신 라운드당 국소 업데이트 수에 의존함을 보여준다.
• 실리오 간 통신 이전에 다수의 국소 업데이트를 허용함으로써 통신 오버헤드를 감소시켜 고지연 네트워크에서 효율성을 향상시킨다.
• 이론적 분석은 기울기와 스토하스틱 노이즈가 유한한 비볼록 목표 함수 하에서도 방법이 수렴함을 확인한다.
• 수렴 속도는 학습률과 국소 업데이트 수에 대해 반비례하는 항으로 경계되며, 일정 수의 국소 단계를 초과하면 수익 감소 효과가 나타난다.
• 실증적 시뮬레이션을 통해 다양한 데이터셋에서 접근 방식의 유효성을 검증하였으며, 훈련 효율성 향상과 수렴 안정성이 향상됨을 보였다.
• 이 방법은 데이터 전송을 최소화하면서도 모델 정확도를 유지하므로, 헬스케어 및 금융 분야와 같이 개인정보 감수성이 높은 다기관 환경에 적합하다.