[논문 리뷰] Heterogeneity-Aware Knowledge Sharing for Graph Federated Learning

Wentao Yu, Sheng Wan외 3명|arXiv (Cornell University)|2026. 01. 29.

Advanced Graph Neural Networks인용 수 0

한 줄 요약

FedSSA는 그래프 연합 학습에서 노드 특징 이질성 및 구조 이질성을 모두 다루며, 의미적 및 구조적 정합을 통해 노드 특징의 변분적(clustering) 클러스터링과 구조의 스펙트럴-에너지 기반 클러스터링을 사용하고, 이론적 수렴성과 강력한 실험적 이득을 제공합니다.

ABSTRACT

Graph Federated Learning (GFL) enables distributed graph representation learning while protecting the privacy of graph data. However, GFL suffers from heterogeneity arising from diverse node features and structural topologies across multiple clients. To address both types of heterogeneity, we propose a novel graph Federated learning method via Semantic and Structural Alignment (FedSSA), which shares the knowledge of both node features and structural topologies. For node feature heterogeneity, we propose a novel variational model to infer class-wise node distributions, so that we can cluster clients based on inferred distributions and construct cluster-level representative distributions. We then minimize the divergence between local and cluster-level distributions to facilitate semantic knowledge sharing. For structural heterogeneity, we employ spectral Graph Neural Networks (GNNs) and propose a spectral energy measure to characterize structural information, so that we can cluster clients based on spectral energy and build cluster-level spectral GNNs. We then align the spectral characteristics of local spectral GNNs with those of cluster-level spectral GNNs to enable structural knowledge sharing. Experiments on six homophilic and five heterophilic graph datasets under both non-overlapping and overlapping partitioning settings demonstrate that FedSSA consistently outperforms eleven state-of-the-art methods.

연구 동기 및 목표

• 그래프 연합 학습에서 노드 특징 이질성과 구조 이질성의 이중 문제를 동기 부여하고 다룬다.
• 개인 간 개인정보를 보존하며 의미적 및 구조적 지식을 공유하기 위해 FedSSA를 제안한다.
• 특징 분포와 스펙트럴 그래프 구조 모두에 대한 클러스터링 및 정합 메커니즘을 개발한다.
• 의미론적 및 구조적 오차 항을 결합한 이론적 수렴 보장과 다양한 데이터셋(동질/비동질 그래프)에 대한 실증 증거를 제공한다

제안 방법

• 클래스별 노드 특징 분포를 추론하고 클라이언트를 이러한 분포로 군집화하기 위한 변분 모델을 도입한다.
• 모먼트 매칭(평균 및 공분산)을 통해 클러스터 수준의 대표 분포를 구성하고, 로컬 분포와 클러스터 분포 간의 KL 발산을 최소화하여 의미적 지식을 공유한다.
• 각 클라이언트의 구조를 특징짓기 위해 스펙트럴 GNN과 새로운 스펙트럴 에너지 지표를 사용하고, Grassmann 매니폴드 기하학을 이용해 스펙트럴 에너지로 클라이언트를 군집화한다.
• 클러스터 수준의 스펙트럴 GNN을 구축하고 로컬 스펙트럴 GNN을 클러스터 수준 GNN에 맞추어 스펙트럴 계수를 매칭하고 정규화를 강제하며 정합한다.
• 표준 가정하에서 FedSSA의 선형 수렴을 보이고, 의미적 및 구조적 불일치 항을 결합한 오차 바닥을 정의한다

실험 결과

연구 질문

• RQ1 그래프 연합 학습에서 의미 정합을 통해 노드 특징 이질성을 명시적으로 어떻게 다룰 수 있는가?
• RQ2 구성 요소 간의 구조 이질성을 스펙트럴 정보와 정합을 통해 어떻게 포착하고 완화할 수 있는가?
• RQ3 특징 및 구조 이질성을 모두 다루는 이중 지식 공유 프레임워크의 이론적 수렴 특성은 무엇인가?
• RQ4 의미적 및 구조적 정합이 동질/비동질 그래프에서 다양한 파티션 방식 하에서 일관된 성능 향상을 제공하는가?

주요 결과

• FedSSA는 여섯 개의 동질 그래프 데이터셋과 다섯 개의 비동질 데이터셋에서 11개의 최첨단 방법보다 일관되게 우수한 성능을 보인다.
• 비동질 설정에서 FedSSA는 두 번째로 우수한 방법(FedIIH)보다 분류 정확도에서 2.82% 포인트 우수한 성능을 보인다.
• 비중첩 및 중첩 파티션 스킴에서 66개의 시나리오에 걸쳐 강력한 실험적 성능을 달성한다.
• Semantic 및 Structural 오차 용어를 결합한 최적점의 O(E) 이웃으로의 선형 수렴 보장을 제공한다.
• 다양한 데이터셋에 대한 광범위한 실험에서 작은 표준 편차로 안정성을 입증한다.
• 수렴 및 성능 향상은 의미적 및 구조적 지식의 명시적 분리 및 정합에 기초한다.