[논문 리뷰] FedGCN: Convergence-Communication Tradeoffs in Federated Training of Graph Convolutional Networks

Yuhang Yao, Jin, Weizhao외 2명|arXiv (Cornell University)|2022. 01. 28.

Privacy-Preserving Technologies in Data인용 수 16

한 줄 요약

FedGCN는 사전 훈련 중에 클라이언트 간 이웃 정보를 한 번만 전송함으로써 빠른 수렴과 극적으로 감소한 통신을 달성하는 새로운 피어드 그래프 컬러션 네트워크 프레임워크를 제안한다. 동형 암호화를 활용해 기밀성을 보장한다. 이는 기존 방법 대비 통신 비용을 100배 이상 줄이고 평균적으로 수렴 속도를 51.7% 향상시킨다.

ABSTRACT

Methods for training models on graphs distributed across multiple clients have recently grown in popularity, due to the size of these graphs as well as regulations on keeping data where it is generated. However, the cross-client edges naturally exist among clients. Thus, distributed methods for training a model on a single graph incur either significant communication overhead between clients or a loss of available information to the training. We introduce the Federated Graph Convolutional Network (FedGCN) algorithm, which uses federated learning to train GCN models for semi-supervised node classification with fast convergence and little communication. Compared to prior methods that require extra communication among clients at each training round, FedGCN clients only communicate with the central server in one pre-training step, greatly reducing communication costs and allowing the use of homomorphic encryption to further enhance privacy. We theoretically analyze the tradeoff between FedGCN's convergence rate and communication cost under different data distributions. Experimental results show that our FedGCN algorithm achieves better model accuracy with 51.7% faster convergence on average and at least 100X less communication compared to prior work.

연구 동기 및 목표

• 피어드 GCN 훈련에서 클라이언트 간 엣지로 인한 높은 통신 오버헤드와 기밀성 위험을 해결하기 위해.
• 훈련 전에 이웃 정보를 단 한 번만 전송함으로써 클라이언트 간 통신을 최소화하면서도 모델 정확도를 유지하기 위해.
• 낮은 암호화 오버헤드로 동형 암호화를 활용해 기밀성 보장이 가능한 GCN 훈련을 가능하게 하기 위해.
• i.i.i.d. 및 비-i.i.d. 데이터 분포 하에서 수렴 속도와 통신 비용 간의 이론적 트레이드오프를 분석하기 위해.
• 기존 피어드 GCN 방법들과 비교하여 정확도, 수렴 속도, 통신 효율성 측면에서 FedGCN의 우수성을 실증적으로 검증하기 위해.

제안 방법

• FedGCN는 클라이언트가 중앙 서버와 사전 훈련 라운드 동안 이웃 특징 정보를 교환함으로써 이후 훈련 라운드에서 반복적인 통신을 제거한다.
• 서버에서 이웃 특징을 안전하게 집계하기 위해 동형 암호화를 사용하여 클라이언트 기밀성을 최소한도의 암호화 비용으로 유지한다.
• 노드 분포와 클라이언트 간 엣지 확률을 기반으로 통신 비용을 모델링하며, 파라미터 α(엣지 공유 확률)와 μ(비-i.i.d. 불균형 요인)를 사용한다.
• i.i.d. 데이터의 경우 통신 비용은 $ N(1 + (C-1)rac{eta N}{CK})d $로 근사되며, β는 이웃 공유를 고려한 항이다. 비-i.i.d. 데이터의 경우 $ p $와 $ rac{N(C-p)}{CK} $를 통해 데이터 불균형을 반영한다.
• 1-홉, 2-홉, L-홉 이웃 집계를 지원하며, 통신 비용은 힙의 수와 이웃 수에 따라 선형적으로 증가한다.
• 노드가 오직 한 개의 클라이언트 간 이웃만 가질 경우의 극단적인 경우에 분산 기밀성도 통합하여 기밀성을 추가로 강화한다.

실험 결과

연구 질문

• RQ1 피어드 GCN 훈련에서 반복적인 통신 없이 클라이언트 간 엣지 정보를 효율적으로 전송할 수 있는 방법은 무엇인가?
• RQ2 다른 데이터 분포 하에서 피어드 GCN 훈련의 수렴 속도와 통신 비용 간의 이론적 트레이드오프는 무엇인가?
• RQ3 단일 사전 훈련 통신 라운드로 이전의 피어드 GCN 방법에서 반복적 통신을 사용하는 것과 비교해 유사하거나 더 높은 모델 정확도를 달성할 수 있는가?
• RQ4 동형 암호화의 사용이 피어드 GCN 훈련의 통신 오버헤드와 기밀성에 어떤 영향을 미치는가?
• RQ5 기존 방법과 비교해 FedGCN의 수렴 속도 향상과 통신 감소 측면에서의 성능 향상은 얼마나 되는가?

주요 결과

• FedGCN는 기존 피어드 GCN 방법 대비 평균적으로 51.7% 더 빠른 수렴을 달성한다.
• 반복적인 클라이언트-서버 통신이 필요한 기존 접근 방식 대비 통신 비용을 최소 100배 이상 감소시킨다.
• i.i.d. 환경에서는 통신 비용이 $ N(1 + (C-1)rac{eta N}{CK})d $로 제한되며, β는 엣지 공유 확률과 데이터 분포에 따라 달라진다.
• 비-i.i.d. 데이터의 경우 통신 비용은 $ ((1- u)p + u C)rac{eta N(C-1)}{CK} + 1)Nd $로 근사되며, 데이터 불균형의 영향을 반영한다.
• 단 한 번의 통신 라운드만으로 동형 암호화를 통해 안전한 훈련을 가능하게 하여 암호화 오버헤드를 크게 감소시킨다.
• 실증 결과는 FedGCN가 통신을 극적으로 줄이고 수렴 속도를 빠르게 하면서도 높은 모델 정확도를 유지함을 확인한다.