[논문 리뷰] Federated Graph Classification over Non-IID Graphs

Han Xie, Jing Ma외 2명|arXiv (Cornell University)|2021. 06. 25.

Privacy-Preserving Technologies in Data참고 문헌 48인용 수 63

한 줄 요약

본 논문은 비 IID 그래프 데이터에서 그래프 분류를 위한 그래디언트 기반의 클러스터링 연합학습 프레임워크 GCFL과, 이질성 처리를 개선하기 위한 그래디언트 시퀀스 DTW 클러스터링을 사용하는 GCFL+를 제안한다. 실험은 여러 데이터셋과 도메인에 걸쳐 베이스라인 대비 일관된 개선을 보여준다.

ABSTRACT

Federated learning has emerged as an important paradigm for training machine learning models in different domains. For graph-level tasks such as graph classification, graphs can also be regarded as a special type of data samples, which can be collected and stored in separate local systems. Similar to other domains, multiple local systems, each holding a small set of graphs, may benefit from collaboratively training a powerful graph mining model, such as the popular graph neural networks (GNNs). To provide more motivation towards such endeavors, we analyze real-world graphs from different domains to confirm that they indeed share certain graph properties that are statistically significant compared with random graphs. However, we also find that different sets of graphs, even from the same domain or same dataset, are non-IID regarding both graph structures and node features. To handle this, we propose a graph clustered federated learning (GCFL) framework that dynamically finds clusters of local systems based on the gradients of GNNs, and theoretically justify that such clusters can reduce the structure and feature heterogeneity among graphs owned by the local systems. Moreover, we observe the gradients of GNNs to be rather fluctuating in GCFL which impedes high-quality clustering, and design a gradient sequence-based clustering mechanism based on dynamic time warping (GCFL+). Extensive experimental results and in-depth analysis demonstrate the effectiveness of our proposed frameworks.

연구 동기 및 목표

• 현실 세계의 그래프가 그래프 분류를 위한 교차 데이터셋 연합학습을 가능하게 하는 특성을 공유한다는 것을 보인다.
• 그래프 데이터셋과 도메인 전반에서 구조적 및 특징 이질성을 정량화한다.
• 그래프 기울기 유사도에 따라 클라이언트를 동적으로 클러스터링하고 클러스터별 GNN을 학습하도록 GCFL을 개발한다.
• GCFL+를 통해 그래디언트 시퀀스를 동적 시간 왜곡(DTW)으로 활용하여 클러스터링을 개선한다.
• 단일 데이터셋 및 다중 데이터셋 설정에서 FedAvg 및 FedProx 대비 실험적 이점을 보여준다.

제안 방법

• 핵심 모델로 Graph Isomorphism Network (GIN)-기반 그래프 분류를 사용한다.
• 전송된 그래디언트를 분석하여 동질한 그룹을 형성하도록 클라이언트를 동적으로 클러스터링한다.
• 각 클러스터 내에서 FedAvg를 통해 클러스터별 GNN 모델을 학습한다.
• GCFL은 기울기 노름에 기반한 두 가지 중지/분할 기준을 도입하여 클러스터링을 촉발한다.
• GCFL+는 그래디언트 노름 시계열 행렬을 유지하고 DTW를 사용하여 라운드 간 클러스터링을 정제한다.
• GNN 기울기가 그래프 구조 및 특징 차이를 반영한다는 이론적 근거를 제공한다.

실험 결과

연구 질문

• RQ1 그래디언트 기반 클러스터링이 비 IID 그래프 연합 학습에서 구조적 및 특징 이질성을 줄일 수 있는가?
• RQ2 GCFL에서 학습된 클러스터별 GNN이 그래프 분류 작업에서 일반적인 FedAvg 및 FedProx보다 우수한가?
• RQ3 DTW를 통한 그래디언트 시퀀스 정보를 도입하는 GCFL+가 마지막 그래디언트만 사용할 때보다 더 안정적이고 우수한 클러스터를 생성하는가?
• RQ4 이질적인 소스 간의 그래프 분류를 위한 교차 데이터셋/교차 도메인 그래프 연합학습이 유익한가?

주요 결과

데이터셋 (# 클라이언트)	정확도 평균	최소 이득	비율
NCI1 (30)	0.6468 self-train; 0.6474 FedAvg; 0.6437 FedProx; 0.7326 GCFL; 0.7422 GCFL+	-	—
PROTEINS (10)	0.7213 self-train; 0.7490 FedAvg; 0.7556 FedProx; 0.7739 GCFL; 0.7776 GCFL+	-	—
IMDB-BINARY (10)	0.7654 self-train; 0.7596 FedAvg; 0.7746 FedProx; 0.8256 GCFL; 0.8299 GCFL+	-	—
Molecules (1)	0.7543 self-train; 0.7524 FedAvg; 0.7668 FedProx; 0.7661 GCFL; 0.7745 GCFL+	-	—
Biochem (2)	0.7129 self-train; 0.6944 FedAvg; 0.7053 FedProx; 0.7172 GCFL; 0.7312 GCFL+	-	—
Mix (3)	0.7001 self-train; 0.6886 FedAvg; 0.6897 FedProx; 0.7056 GCFL; 0.7121 GCFL+	-	—

• GCFL 및 GCFL+은 여러 데이터셋에서 자기 학습(self-training) 및 표준 FL 기초 모델(FedAvg, FedProx) 대비 그래프 분류 정확도를 향상시킨다.
• 단일 데이터셋 설정에서 GCFL/GCFL+은 일부 데이터셋에서 self-train 대비 평균 약 14.75% 포인트의 이점을 달성했다.
• 여러 데이터셋과 도메인에 걸쳐 GCFL/GCFL+은 대부분의 클라이언트를 일관되게 향상시키며, GCFL+가 대개 GCFL보다 우수하다.
• GCFL+은 그래디언트 시퀀스 DTW 클러스터링을 사용하여 장기 학습 다이나믹스를 더 잘 포착하고, 클러스터링 품질과 성능을 향상시킨다.
• 이론적 결과는 구조/특성 차이에 대한 가중치 변화를 GNN 기울기가 제한한다는 것을 보여주어, 그래디언트 기반 클러스터링의 타당성을 뒷받침한다.
• GCFL+은 시퀀스-based 클러스터링을 통해 이익이 낮은 클라이언트가 클러스터를 끌고 내려가지 않도록 하여 강인성을 유지한다.