[논문 리뷰] Federated Graph Learning -- A Position Paper

Huanding Zhang, Tao Shen외 4명|arXiv (Cornell University)|2021. 05. 24.

Privacy-Preserving Technologies in Data참고 문헌 26인용 수 22

한 줄 요약

이 논문은 클라이언트 간에 그래프 데이터가 어떻게 분포되어 있는지에 따라 연합 그래프 학습(Federated Graph Learning, FGL)을 네 가지 유형—간단한 그래프 간 FL, 내부 그래프 FL(수평 및 수직), 그리고 그래프 구조 FL—으로 체계적으로 분류한다. 그래프 데이터의 비균형성, 고립된 부분그래프, 실체 매칭 문제, 데이터셋 부족, 통신 오버헤드 등의 주요 과제를 분석하고, 개인정보 보호를 고려한 GNN 훈련을 위한 향후 연구 방향을 제안한다.

ABSTRACT

Graph neural networks (GNN) have been successful in many fields, and derived various researches and applications in real industries. However, in some privacy sensitive scenarios (like finance, healthcare), training a GNN model centrally faces challenges due to the distributed data silos. Federated learning (FL) is a an emerging technique that can collaboratively train a shared model while keeping the data decentralized, which is a rational solution for distributed GNN training. We term it as federated graph learning (FGL). Although FGL has received increasing attention recently, the definition and challenges of FGL is still up in the air. In this position paper, we present a categorization to clarify it. Considering how graph data are distributed among clients, we propose four types of FGL: inter-graph FL, intra-graph FL and graph-structured FL, where intra-graph is further divided into horizontal and vertical FGL. For each type of FGL, we make a detailed discussion about the formulation and applications, and propose some potential challenges.

연구 동기 및 목표

• 클라이언트 간 그래프 데이터 분포 패턴에 기반해 연합 그래프 학습(Federated Graph Learning, FGL)의 핵심 유형을 정의함으로써 이 분야의 정의를 명확히 하기.
• 의료 및 금융과 같은 개인정보 민감도가 높은 분야에서 데이터가 고립되어 있는 상황에서도 그래프 신경망(GNN)을 훈련시키는 과제를 해결하기.
• FGL에만 존재하는 고유한 과제, 예를 들어 비균형적인 그래프 구조, 부분그래프 고립, 안전한 실체 매칭 등을 식별하고 분석하기.
• 표준화된 데이터셋 부족과 높은 통신/메모리 비용이 FGL 개발의 주요 장벽임을 강조하기.
• 이러한 과제를 극복하기 위한 연구 방향 제안, 예를 들어 모델 압축 및 안전한 집계 기법 등

제안 방법

• 데이터 분포의 세분성에 기반해 FGL을 네 수준의 분류로 제안: 간단한 그래프 간 FL, 내부 그래프 FL(수평 및 수직), 그래프 구조 FL.
• 기본 GNN 수식으로 그래프 컬러션 네트워크(GCN)와 메시지 전달 신경망(MPNN)을 채택하며, 메시지 전달을 위한 수식으로 $ x^l_i = \gamma^l(x^{l-1}_i, \text{Aggr}^l_{j\in\mathcal{N}_i} \phi^l(x^{l-1}_i, x^{l-1}_j, a_{ij})) $ 를 사용한다.
• 기본적인 FL 집계 메커니즘으로 FedAvg를 적용하여 원시 데이터를 공유하지 않고도 클라이언트로부터 모델 업데이트를 가능하게 한다.
• 간단한 그래프 간 FL에서는 그래프 수준 작업(예: 분자의 성질 예측)을, 내부 그래프 FL에서는 노드 수준 작업을 적용한다.
• 수직 내부 그래프 FL에서 실체 매칭을 위한 안전한 방법으로 히든 암호화 기법을 제안하여 개인정보 보호를 강화한다.
• 통신 및 메모리 비용을 줄이기 위해 양자화, 프루닝, 지식 distillation 등의 모델 압축 기법을 제안한다.

실험 결과

연구 질문

• RQ1 클라이언트 간 그래프 데이터 분포 방식에 따라 연합 그래프 학습(Federated Graph Learning)을 어떻게 공식적으로 분류할 수 있는가?
• RQ2 기존 연합 학습과 비교할 때, 특히 그래프 구조 데이터에서 FGL이 지닌 고유한 과제는 무엇인가?
• RQ3 비균형적인 그래프 구조(예: 차수 분포, 응집 계수)는 FGL에서 모델 수렴성과 성능에 어떤 영향을 미치는가?
• RQ4 수평으로 분할된 부분그래프에서 고차원 이웃 정보가 손실된 경우 이를 복구하거나 유추할 수 있는 메커니즘은 무엇인가?
• RQ5 데이터 프라이버시를 해치지 않으면서 수직 내부 그래프 FL에서 안전하고 정확한 실체 매칭을 달성하는 방법은 무엇인가?

주요 결과

• 논문은 FGL에 대한 공식적인 네 유형 분류—간단한 그래프 간 FL, 수평 내부 그래프 FL, 수직 내부 그래프 FL, 그래프 구조 FL—를 수립하여 분열된 연구 분야에 명확성을 제공한다.
• 비균형적인 그래프 구조, 특히 차수 분포와 응집 계수의 차이가 FGL에서 모델 수렴성과 정확도에 심각한 영향을 미치며, 현재까지 이 문제를 완전히 해결한 방법은 없다.
• 수평 내부 그래프 FL에서는 지름이 매우 작은 고립된 부분그래프가 GCN의 메시지 전달을 심각하게 제한하여 극단적인 경우 단순한 MLP 수준의 성능으로 떨어질 수 있다.
• 수직 내부 그래프 FL에서의 안전한 실체 매칭 문제는 아직 해결되지 않았으며, 기존 방법들은 또는 프라이버시를 훼손하거나 확장성과 정확도에 결함이 있다.
• 내부 그래프 FL에 적합한 현실적이고 표준화된 그래프 데이터셋의 부족은 재현 가능한 연구와 모델 평가를 어렵게 하며, 특히 실제 세계의 부분그래프 분할을 시뮬레이션하는 데에 어려움을 초래한다.
• 통신 및 메모리 오버헤드는 FGL의 주요 병목 현상이며, 사용자/아이템 수에 비례해 모델 파라미터가 증가하는 추천 시스템과 같은 대규모 응용 분야에서 특히 심각한 문제로 작용한다.