[논문 리뷰] A Vertical Federated Learning Framework for Graph Convolutional Network

Xiang Ni, Xiaolong Xu외 3명|arXiv (Cornell University)|2021. 06. 22.

Privacy-Preserving Technologies in Data참고 문헌 23인용 수 26

한 줄 요약

FedVGCN은 프라이버시 보존 수직 연합 학습을 그래프 컨볼루션 네트워크에 적용하여 additively homomorphic 암호화를 사용하고, GraphSAGE에 대해 벤치마크 전반에서 중앙 집중식 성능에 근접하게 달성합니다.

ABSTRACT

Recently, Graph Neural Network (GNN) has achieved remarkable success in various real-world problems on graph data. However in most industries, data exists in the form of isolated islands and the data privacy and security is also an important issue. In this paper, we propose FedVGCN, a federated GCN learning paradigm for privacy-preserving node classification task under data vertically partitioned setting, which can be generalized to existing GCN models. Specifically, we split the computation graph data into two parts. For each iteration of the training process, the two parties transfer intermediate results to each other under homomorphic encryption. We conduct experiments on benchmark data and the results demonstrate the effectiveness of FedVGCN in the case of GraphSage.

연구 동기 및 목표

• 그래프 데이터가 다수의 엔티티에 수직으로 분할되어 있을 때 프라이버시 인식 학습의 필요성에 대해 동기 부여한다.
• 원시 기능이나 간선을 공유하지 않고 GCN 기반 모델을 학습하기 위한 FedVGCN 프레임워크를 제안한다.
• Additively homomorphic 암호화가 정확도를 보존하면서 데이터 프라이버시를 보호하는지 보여준다.
• FedVGCN이 고립된 데이터 기준선보다 우수하고 중앙 집중식 평문 성능에 근접함을 입증한다.

제안 방법

• 수직 FL 설정에서 그래프 데이터를 기능 보유 두 파티로 분할한다.
• Forward 및 Backward 패스 중 암호화된 중간 결과를 교환하기 위해 additively homomorphic 암호화(Paillier)를 사용한다.
• 호환 가능한 합성과 곱을 유지하기 위해 ReLU를 2차 직교 다항식으로 근사한다.
• 암호화된 연산을 가능하게 하기 위해 손실 및 기울기 계산에 2차 테일러 근사를 적용한다.
• 학습 전에 개인 정보 매칭 초기화를 위한 Private Set Intersection(PSI)을 활용한다.
• 무감사 그래프 기반 음수 샘플링에서 영감을 얻은 비지도 손실로 GraphSAGE 확장에서 평가한다.

실험 결과

연구 질문

• RQ1 데이터가 수직으로 분할된 경우 FedVGCN이 고립된 학습 그래프에 비해 노드 분류 정확도를 향상시킬 수 있는가?
• RQ2 데이터가 결합된 평문 데이터로 학습된 중앙 집중식 모델에 FedVGCN이 얼마나 근접할 수 있는가?
• RQ3 수직 GNN 학습에서 Paillier HE와 다항 활성화의 프라이버시 및 정확도에 미치는 영향은 무엇인가?

주요 결과

데이터세트	GraphSage_A	GraphSage_B	FedVGraphSage	GraphSage_A+B
Cora	0.5222	0.4867	0.6770	0.7080
Pubmed	0.6936	0.6801	0.7830	0.7890
Citeseer	0.4630	0.5510	0.6820	0.6983

• FedVGraphSage는 Cora, PubMed, Citeseer 전반에 걸쳐 고립된 기능/간선 데이터로 학습된 GraphSage 모델보다 일관되게 우수하다.
• FedVGraphSage는 결합된 평문 데이터로 학습된 GraphSage에 가까운 정확도를 달성한다(예: Cora에서 0.6770 vs 0.7080; PubMed에서 0.7830 vs 0.7890; Citeseer에서 0.6820 vs 0.6983).
• Additively homomorphic 암호화는 원시 데이터를 노출하지 않고 중간 결과의 프라이버시 보존된 통신을 가능하게 한다.
• 암호문 친화적 계산을 가능하게 하는 2차 다항식 활성화는 합과 곱을 암호화 하에서 보존한다.
• 이 프레임워크는 비협력적 서버와 클라이언트 가정 하에서 보안이 확립된 스칼라-곱 프로토콜에 기초한 프라이버시 보장을 지원한다.