[논문 리뷰] GLASU: A Communication-Efficient Algorithm for Federated Learning with Vertically Distributed Graph Data

Xinwei Zhang, Mingyi Hong외 1명|arXiv (Cornell University)|2023. 03. 16.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

GLASU는 수직 분산 그래프 데이터를 위한 통신 효율적인 피어드 학습 알고리즘으로, 클라이언트들이 부분적인 노드 특징과 분리된 간선 집합을 소유합니다. GNN을 클라이언트와 서버 간에 분할하고, 게으른 집계와 오래된 업데이트를 사용하여 통신 빈도를 $QL/K$ 배 감소시켜 중심화된 학습 정확도를 유지하면서도 통신 오버헤드를 크게 줄입니다. 수렴 보장을 유지합니다.

ABSTRACT

Vertical federated learning (VFL) is a distributed learning paradigm, where computing clients collectively train a model based on the partial features of the same set of samples they possess. Current research on VFL focuses on the case when samples are independent, but it rarely addresses an emerging scenario when samples are interrelated through a graph. For graph-structured data, graph neural networks (GNNs) are competitive machine learning models, but a naive implementation in the VFL setting causes a significant communication overhead. Moreover, the analysis of the training is faced with a challenge caused by the biased stochastic gradients. In this paper, we propose a model splitting method that splits a backbone GNN across the clients and the server and a communication-efficient algorithm, GLASU, to train such a model. GLASU adopts lazy aggregation and stale updates to skip aggregation when evaluating the model and skip feature exchanges during training, greatly reducing communication. We offer a theoretical analysis and conduct extensive numerical experiments on real-world datasets, showing that the proposed algorithm effectively trains a GNN model, whose performance matches that of the backbone GNN when trained in a centralized manner.

연구 동기 및 목표

• 수직 분할된 특징과 간선을 가진 그래프 구조 데이터에 대한 통신 효율적인 피어드 학습 방법의 부족을 해결합니다.
• 수직 피어드 학습 중 GNN의 이웃 집계에서 발생하는 높은 통신 오버헤드를 줄입니다.
• 모델 정확도와 프라이버시를 유지하면서도 여러 클라이언트와 서버 간에 GNN을 학습할 수 있도록 합니다.
• 오래된 표현으로 인한 편향된 기울기와 상관된 업데이트에도 불구하고 수렴 보장을 이론적으로 확보합니다.
• 기존 GNN 아키텍처와 표준 피어드 학습 프로토콜과 호환되는 유연한 프레임워크를 설계합니다.

제안 방법

• GNN 모델을 클라이언트와 서버 간에 분할하여, 클라이언트가 특징 표현과 로컬 GNN 레이어를 보유하고 서버는 오직 집계와 배포만 담당하도록 합니다.
• 게으운 집계를 적용하여 $L$개의 GNN 레이어 중 $K$개에서 이웃 집계를 생략함으로써 통신 빈도를 감소시킵니다.
• 클라이언트가 오래된 전역 모델 파라미터를 사용하도록 허용하여 오래된 업데이트를 활용함으로써 추가로 통신을 최소화합니다.
• 부분적인 노드 표현을 $K$개의 레이어와 매 $Q$ 반복마다만 교환하여 이론적으로 통신 감소 요소 $QL/K$ 를 달성합니다.
• 오차 분해 분석을 통합하여 기울기 편향을 제한하고 수렴 속도 $\mathcal{O}((TQ)^{-1})$ 를 증명합니다.
• 기존 VFL 방법과 중심화된 학습을 특수 케이스로 지원합니다 (예: $K=1$, $K=L$, 또는 단일 클라이언트).

Figure 1: Data isolation of vertically distributed graph-structured data over three clients.

실험 결과

연구 질문

• RQ1 분산된 특징과 간선을 가진 그래프 구조 데이터에서 수직 피어드 학습을 위한 통신 효율적인 알고리즘을 설계할 수 있는가?
• RQ2 GNN의 이웃 집계를 어떻게 최적화하여 성능 저하 없이 통신을 줄일 수 있는가?
• RQ3 이러한 피어드 GNN 환경에서 편향된 기울기와 오래된 업데이트 상황에서도 어떤 이론적 수렴 보장을 확보할 수 있는가?
• RQ4 중앙 집중 학습과 비교해 성능를 유지하면서 통신을 얼마나 줄일 수 있는가?
• RQ5 제안된 GLASU 프레임워크는 다양한 GNN 아키텍처와 실제 그래프 데이터셋에 어떻게 일반화되는가?

주요 결과

• GLASU는 Cora, PubMed, CiteSeer, HeriGraph, Reddit 데이터셋에서 중심화된 학습과 유사한 테스트 정확도를 달성하며, 성능 저하가 최소한입니다.
• 통신 오버헤드가 최대 $QL/K$ 배 감소하였으며, 실험 결과 통신 라운드 수 감소로 인해 뚜렷한 속도 향상이 확인되었습니다.
• 이론적 분석을 통해 기울기 오차 분해를 검증하여 수렴 속도 $\mathcal{O}((TQ)^{-1})$ 를 유지함을 입증했습니다.
• Reddit와 HeriGraph에서 GLASU는 기준 방법 대비 학습 시간을 70% 이상 단축시켰습니다. 통신 절감 덕분입니다.
• 프레임워크는 기존 VFL 및 GNN 방법과 호환되며, [2], [8], [9] 및 중심화된 학습을 특수 케이스로 복원합니다.

Figure 2: Illustration of the split model on $M=3$ clients with lazy aggregation. In the model, the second server aggregation layer is skipped and the graph size used by each layer gradually decreases, due to neighborhood aggregation (inverse of neighborhood sampling).