[논문 리뷰] ASFGNN: Automated Separated-Federated Graph Neural Network

Longfei Zheng, Jun Zhou외 4명|arXiv (Cornell University)|2020. 11. 06.

Advanced Graph Neural Networks참고 문헌 26인용 수 5

한 줄 요약

이 논문은 비정규 분포 데이터와 통신 비효율성 문제를 해결하기 위해 GNN 학습을 클라이언트 측 메시지 전달과 피드백 손실 계산으로 분리하는 자동화된 분리형 페더레이티드 그래프 신경망인 ASFGNN을 제안한다. 새로운 분리형 페더레이티드 학습 프레임워크와 하이퍼파ram터 튜닝을 위한 베이지안 최적화를 결합함으로써, 실제 데이터셋에서 기존 그리드 서치 대비 최대 102.56배 빠른 하이퍼파ram터 탐색과 더불어 유의미하게 높은 정확도를 달성한다.

ABSTRACT

Graph Neural Networks (GNNs) have achieved remarkable performance by taking advantage of graph data. The success of GNN models always depends on rich features and adjacent relationships. However, in practice, such data are usually isolated by different data owners (clients) and thus are likely to be Non-Independent and Identically Distributed (Non-IID). Meanwhile, considering the limited network status of data owners, hyper-parameters optimization for collaborative learning approaches is time-consuming in data isolation scenarios. To address these problems, we propose an Automated Separated-Federated Graph Neural Network (ASFGNN) learning paradigm. ASFGNN consists of two main components, i.e., the training of GNN and the tuning of hyper-parameters. Specifically, to solve the data Non-IID problem, we first propose a separated-federated GNN learning model, which decouples the training of GNN into two parts: the message passing part that is done by clients separately, and the loss computing part that is learnt by clients federally. To handle the time-consuming parameter tuning problem, we leverage Bayesian optimization technique to automatically tune the hyper-parameters of all the clients. We conduct experiments on benchmark datasets and the results demonstrate that ASFGNN significantly outperforms the naive federated GNN, in terms of both accuracy and parameter-tuning efficiency.

연구 동기 및 목표

• 클라이언트 간 데이터 고립으로 인해 발생하는 비정규 분포 그래프 데이터에서 GNN을 학습하는 데 도전하는 것.
• 제한된 통신 대역폭 환경에서 페더레이티드 GNN 설정에서 하이퍼파ram터 튜닝의 높은 계산 비용을 극복하는 것.
• 실제 응용 분야에서 크로스실 페더레이티드 학습에 적합한 확장성 있고 프라이버시를 보장하는 GNN 학습 파라다임을 설계하는 것.
• 메시지 전달과 손실 계산을 분리함으로써 모델 성능을 향상시키고, 동시에 페더레이티드 모델 앙상블을 가능하게 하는 것.

제안 방법

• 공유된 식별 모델을 사용하여 GNN 학습을 두 단계로 분해: 클라이언트 로컬 메시지 전달 및 페더레이티드 손실 계산.
• 페더레이션 앙상블 중에 국소 식별 모델을 글로벌 모델과 정렬하기 위해 젠슨-셜라드 분산을 사용한다.
• 최소한의 통신으로 클라이언트 간 하이퍼파aram터(예: 학습률, L2 정규화, 드롭아웃)를 자동으로 튜닝하기 위해 베이지안 최적화를 적용한다.
• 베이지안 최적화를 이끄는 데 사용하기 위해 서버에서 클라이언트 평가 지표(예: 정밀도)를 수집하고 평균화한다.
• 검색 공간을 축소하고 수렴 속도를 높이기 위해 SMAC3를 활용해 효율적인 하이퍼파aram터 검색을 수행한다.
• 원시 특징과 임bed딩을 클라이언트에 유지하고, 오직 모델 업데이트와 지표만 전송함으로써 프라이버시를 보장한다.

실험 결과

연구 질문

• RQ1 비정규 분포 그래프 데이터 환경에서 기존 페더레이티드 GNN에 비해 분리형 페더레이티드 GNN 프레임워크가 우월한 성능을 내는가?
• RQ2 라벨 분포 편향의 정도가 다양할 경우(α로 측정함) 제안된 방법의 성능는 어떻게 되는가?
• RQ3 전체 데이터가 없을 경우 젠슨-셜라드 분산을 사용함으로써 모델 정렬과 성능 향상이 이루어지는가?
• RQ4 그리드 서치 대비 정확도 손실 없이 베이지안 최적화가 하이퍼파aram터 튜닝 시간을 단축시키는가?
• RQ5 비정규 분포 환경에서 클라이언트 수가 전체 모델 정확도에 미치는 영향은 어떠한가?

주요 결과

• ASFGNN은 모든 테스트 데이터셋에서 표준 페더레이티드 GNN을 초월하여 평균 정확도가 높으며, 특히 심한 라벨 편향(α > 0.88) 조건에서 뚜렷한 성능 향상을 보였다.
• 젠슨-셜라드 분산(JS)을 적용한 모델은 비-JS 버전 대비 일관되게 성능 향상을 보였으며, α = 1.0일 때 3.66%의 정확도 향상이 있었다.
• 베이지안 최적화 덕분에 Pubmed 데이터셋에서 그리드 서치 대비 하이퍼파aram터 튜닝 시간이 최대 102.56배 단축되었다.
• Cora 데이터셋에서 클라이언트 수가 2에서 5로 증가함에 따라 ASFGNN의 평균 정확도가 증가하여 데이터 고립 환경에서의 일반화 능력 향상을 시사했다.
• 데이터셋 크기가 커질수록 베이지안 최적화의 속도 향상 비율이 증가하여 대규모 데이터 고립 환경에서의 확장성을 입증했다.
• 여러 클라이언트가 존재하는 상황에서도 중심화된 학습(CM 모델)과 비교해 유사하거나 더 높은 정확도를 달성하여 비정규 분포 데이터에 대한 강력한 내성성을 입증했다.