[논문 리뷰] Personalized Subgraph Federated Learning

Jinheon Baek, Wonyong Jeong외 3명|arXiv (Cornell University)|2022. 06. 21.

Privacy-Preserving Technologies in Data인용 수 11

한 줄 요약

이 논문은 기능 임베딩을 사용해 모델 유사도를 측정하고, 개인화된 희소 마스크를 적용해 하위그래프 관련 파라미터를 선택적으로 업데이트함으로써 분산된, 개인정보 보호된 하위그래프 간에 그래프 신경망(GNNs)의 협업 학습을 향상시키는 새로운 프레임워크인 개인화된 하위그래프 플러그인 학습(FED-PUB)을 소개한다. FED-PUB는 교차 및 비교합 하위그래프를 모두 포함한 6개 데이터셋에서 기존 베이스라인보다 뚜렷이 뛰어난 성능을 보이며, 누락된 간선과 모델 이질성으로 인한 성능 저하를 효과적으로 완화한다.

ABSTRACT

Subgraphs of a larger global graph may be distributed across multiple devices, and only locally accessible due to privacy restrictions, although there may be links between subgraphs. Recently proposed subgraph Federated Learning (FL) methods deal with those missing links across local subgraphs while distributively training Graph Neural Networks (GNNs) on them. However, they have overlooked the inevitable heterogeneity between subgraphs comprising different communities of a global graph, consequently collapsing the incompatible knowledge from local GNN models. To this end, we introduce a new subgraph FL problem, personalized subgraph FL, which focuses on the joint improvement of the interrelated local GNNs rather than learning a single global model, and propose a novel framework, FEDerated Personalized sUBgraph learning (FED-PUB), to tackle it. Since the server cannot access the subgraph in each client, FED-PUB utilizes functional embeddings of the local GNNs using random graphs as inputs to compute similarities between them, and use the similarities to perform weighted averaging for server-side aggregation. Further, it learns a personalized sparse mask at each client to select and update only the subgraph-relevant subset of the aggregated parameters. We validate our FED-PUB for its subgraph FL performance on six datasets, considering both non-overlapping and overlapping subgraphs, on which it significantly outperforms relevant baselines. Our code is available at https://github.com/JinheonBaek/FED-PUB.

연구 동기 및 목표

• 누락된 간선과 하위그래프 간의 모델 이질성으로 인한 하위그래프 플러그인 학습의 성능 저하 문제를 해결하기 위해.
• 단일 글로벌 모델을 학습하는 대신, 동일한 커뮤니티 내의 상호 연관된 로컬 GNN 모델들을 함께 향상시키는 개인화된 플러그인 학습 프레임워크를 개발하기 위해.
• 개인정보 제약으로 인해 원시 하위그래프 데이터를 폭로하지 않고도 클라이언트 간 지식 공유를 가능하게 하기 위해.
• 하위그래프 간 커뮤니티 구조를 발견하고, 모델 파라미터를 각 클라이언트의 로컬 하위그래프에 국한시키기 위해.

제안 방법

• 클라이언트의 하위그래프에 접근하지 않고도 모델 유사도를 추정하기 위해, 무작위 그래프를 사용해 로컬 GNN의 기능 임베딩을 계산한다.
• 서버 측 집계는 이러한 기능 임베딩 유사도 기반으로 가중 평균을 사용해 클라이언트 모델 파라미터를 집계한다.
• 각 클라이언트는 자신의 로컬 하위그래프와 관련된 하위네트워크 파라미터만 선택하고 업데이트하기 위한 개인화된 희소 마스크를 학습한다.
• 서버는 클라이언트의 실제 하위그래프 데이터나 노드/간선 정보에 접근하지 않아 엄격한 개인정보 보호 조건 하에서 작동한다.
• 이 방법은 여러 클라이언트 간에 교차 및 비교합 하위그래프 상황을 모두 처리할 수 있도록 설계되어 있다.
• 노드 또는 간선 정보의 직접 공유를 피함으로써 개인정보 위험과 통신 비용을 감소시킨다.

실험 결과

연구 질문

• RQ1 로컬 하위그래프가 비교합이고 상호 간의 간선이 없는 경우, 하위그래프 플러그인 학습의 성능을 어떻게 향상시킬 수 있는가?
• RQ2 다른 커뮤니티에서 온 하위그래프 간의 모델 이질성이 기존 하위그래프 플러그인 학습 방법의 성능을 얼마나 떨어뜨리는가?
• RQ3 원시 하위그래프 데이터에 접근하지 않고도, GNN의 기능 임베딩이 무작위 그래프에서 로컬 모델 간의 유사도를 효과적으로 포착할 수 있는가?
• RQ4 개인화된 희소 마스크는 하위그래프 관련 구성 요소에 국한된 파라미터 업데이트를 통해 성능을 어떻게 향상시키는가?
• RQ5 제안된 프레임워크는 교차 및 비교합 하위그래프 설정 모두에서 기존 하위그래프 플러그인 학습 및 개인화된 플러그인 학습 베이스라인을 초월할 수 있는가?

주요 결과

• FED-PUB는 모든 데이터셋에서 전체 글로벌 그래프로 훈련된 오라클 모델에 가장 가까운 성능를 기록하며, FedGNN, FedSage+, FedPer를 크게 앞서간다.
• 비교합 하위그래프를 가진 Cora 데이터셋에서 FED-PUB는 테스트 정확도 84.3%를 달성하여 다음으로 우수한 베이스라인보다 3.1%p 높았다.
• 교차 하위그래프 상황에서는 FED-PUB가 일관된 성능 향상을 유지했으며, PubMed 데이터셋에서 FedGNN 대비 2.8% 향상된 성능을 기록했다.
• 기능 임베딩은 임베딩 유사도의 군집 분석을 통해 하위그래프 간 커뮤니티 구조를 성공적으로 식별했다.
• 개인화된 희소 마스크 메커니즘은 모델 파라미터를 효과적으로 국소화하여 일반화 성능를 향상시키고, 관련이 없는 파라미터의 간섭을 줄였다.
• 제거 실험 결과, 기능 임베딩과 희소 마스크 둘 다 필수적인 구성 요소임을 확인했으며, 둘 중 하나를 제거하면 성능가 5% 이상 저하되었다.