[논문 리뷰] STFL: A Temporal-Spatial Federated Learning Framework for Graph Neural Networks

Guannan Lou, Yuze Liu외 2명|arXiv (Cornell University)|2021. 11. 12.

Privacy-Preserving Technologies in Data참고 문헌 28인용 수 11

한 줄 요약

STFL는 공간-시간 데이터를 그래프 구조 입력으로 변환하여 그래프 신경망(GNN)에 적합한 새로운 분산 학습 프레임워크를 제안한다. 이는 개인정보 보호를 실현하면서도 협업적 모델 학습을 가능하게 한다. PLV 및 PCC와 같은 노드 상관관계 함수를 활용해 동적 인접 행렬과 특징을 구성함으로써, STFL는 그래프 수준의 작업에서 뛰어난 일반화 성능을 달성하며, ISRUC_S3 수면 단계 데이터셋에서 중심화된 기준보다도 뛰어난 성능을 보였다.

ABSTRACT

We present a spatial-temporal federated learning framework for graph neural networks, namely STFL. The framework explores the underlying correlation of the input spatial-temporal data and transform it to both node features and adjacency matrix. The federated learning setting in the framework ensures data privacy while achieving a good model generalization. Experiments results on the sleep stage dataset, ISRUC_S3, illustrate the effectiveness of STFL on graph prediction tasks.

연구 동기 및 목표

• 사전에 정의된 그래프 구조가 없는 원시 공간-시간 데이터에서 GNN을 학습하는 데 도전하는 문제를 해결하기 위해, 특히 데이터 프라이버시 제약 조건 하에서의 학습을 목표로 한다.
• 공간 상관관계와 시간적 특징 추출을 활용해 시간 시리즈 데이터에서 자동으로 그래프 표현을 생성하는 종단간 프레임워크를 개발하는 것.
• 이 그래프 생성 과정을 분산 학습 환경에 통합하여 데이터 프라이버시를 유지하면서도 분산 클라이언트 간의 모델 일반화 성능을 향상시키는 것.
• 실제 세계의 그래프 수준 예측 작업에서 프레임워크의 효과성을 평가하며, 특히 수면 단계 분류와 같은 헬스케어 애플리케이션에 초점을 맞춘다.
• 분산 환경에서 최적의 GNN 성능을 얻기 위해 인접 행렬을 구성하는 데 사용되는 다양한 노드 상관관계 함수(PLV, PCC, DB, K-NN)의 성능을 비교하는 것.

제안 방법

• 그래프 생성기 컴пон넌트는 시간 시리즈 데이터에서 특징 추출을 위한 컨volutional 신경망과 간선 구축을 위한 상관관계 함수를 활용해 원시 공간-시간 시퀀스를 노드 특징과 인접 행렬로 변환한다.
• 프레임워크는 피어슨 상관계수(PCC), 위상 잠금 값(PLV), 거리 기반(DB), K-최근접 이웃(K-NN) 등의 다수의 노드 상관관계 함수를 사용하여 시간 시리즈 데이터에서 동적으로 그래프 구조를 정의한다.
• 클라이언트가 자체 생성한 그래프에서 로컬 GNN 모델을 학습하고, FedAvg를 통해 중앙 서버에 모델 업데이트를 전송하는 종단간 분산 학습 파이프라인을 설계한다.
• 프레임워크는 그래프 수준 분류 작업을 지원하며, 실제 분산 학습 환경을 시뮬레이션하기 위해 비독립 동일분포(non-IID) 데이터 분포 하에서 모델 학습 및 평가를 수행한다.
• 그래프 생성기는 GCN, GAT, GraphSage의 세 가지 GNN 아키텍처와 통합되어, 분산 학습 환경에서의 모델 성능 비교 분석을 가능하게 한다.
• 일관된 하이퍼파rameter 설정을 통해 분산 학습과 중심화 학습 환경 간의 일반화 성능 비교를 공정하게 확보한다.

실험 결과

연구 질문

• RQ1 다양한 노드 상관관계 함수(PLV, PCC, DB, K-NN)가 분산 학습 환경에서 공간-시간 GNN의 인접 행렬을 구성하는 데 얼마나 효과적인가?
• RQ2 데이터 프라이버시가 중요한 상황에서, STFL이 비독립 동일분포 데이터 설정에서 중심화 학습보다 더 나은 모델 일반화 성능을 달성할 수 있는가?
• RQ3 공간-시간 데이터에서 그래프 수준 분류 작업을 수행할 때, STFL 프레임워크 하에서 GCN, GAT, GraphSage 중 어떤 GNN 아키텍처가 가장 우수한 성능을 보이는가?
• RQ4 동일한 학습 데이터 크기와 하이퍼파라미터를 사용할 때, 분산 모델의 성능은 중심화 모델과 비교해 어떻게 되는가?
• RQ5 상관관계 함수의 선택이 분산 GNN 학습에서 수렴 속도와 최종 모델 정확도에 상당한 영향을 미치는가?

주요 결과

• 위상 잠금 값(PLV) 상관관계 함수는 ISRUC_S3 데이터셋에서 모든 분산 GNN 모델에서 일관되게 PCC, DB, K-NN보다 뛰어난 성능을 보이며, 평균 F1 스코어가 가장 높았다.
• PLV를 사용한 Fed-GraphSage는 분산 모델 중에서 가장 높은 F1 스코어(0.848)와 정확도(0.857)를 기록했으며, 일부 경우 중심화 기준 모델을 초월했다.
• 모든 분산 모델이 동일 크기의 로컬 데이터로 학습했을 때 중심화된 모델보다 더 뛰어난 일반화 성능을 보였으며, 이는 STFL이 비독립 동일분포 데이터 분포를 효과적으로 다룰 수 있음을 시사한다.
• GraphSage는 REM 수면 단계 클래스에서 가장 안정적인 학습 동역학과 높은 F1 스코어(0.831)를 기록했고, GCN은 다른 클래스에서 가장 우수한 성능을 보였다(F1 > 0.90).
• 모든 모델의 학습 손실이 최종 에포크에서 크게 진동했으며, 이는 특히 후반 학습 단계에서 클라이언트들이 전역 모델을 자신의 로컬 데이터에 맞추는 데 어려움을 겪고 있음을 시사한다.
• 프레임워크는 원시 수면 EEG 데이터를 그래프 구조 입력으로 성공적으로 변환하여, 개인정보 보호를 위한 분산 학습을 통해 효과적인 GNN 학습을 가능하게 하였다.