[논문 리뷰] Improving Federated Relational Data Modeling via Basis Alignment and Weight Penalty

Yilun Lin, Chaochao Chen외 2명|arXiv (Cornell University)|2020. 11. 23.

Privacy-Preserving Technologies in Data참고 문헌 30인용 수 4

한 줄 요약

이 논문은 지식 그래프를 사용한 관계형 데이터 모델링을 위한 새로운 피어드 학습 프레임워크인 FedAlign을 제안한다. 최적 운반 기반 기저 정렬과 L-립시츠 가중치 페널티를 결합하여 수렴성과 성능을 햖थ한다. 기준 데이터셋에서 FedAVG와 FedProx보다 뛰어난 성능을 보이며, 특히 데이터 이질성과 별형 구조 그래프에서의 과적합 문제를 잘 다룬다.

ABSTRACT

Federated learning (FL) has attracted increasing attention in recent years. As a privacy-preserving collaborative learning paradigm, it enables a broader range of applications, especially for computer vision and natural language processing tasks. However, to date, there is limited research of federated learning on relational data, namely Knowledge Graph (KG). In this work, we present a modified version of the graph neural network algorithm that performs federated modeling over KGs across different participants. Specifically, to tackle the inherent data heterogeneity issue and inefficiency in algorithm convergence, we propose a novel optimization algorithm, named FedAlign, with 1) optimal transportation (OT) for on-client personalization and 2) weight constraint to speed up the convergence. Extensive experiments have been conducted on several widely used datasets. Empirical results show that our proposed method outperforms the state-of-the-art FL methods, such as FedAVG and FedProx, with better convergence.

연구 동기 및 목표

• 지식 그래프를 포함한 관계형 피어드 학습에서 데이터 이질성과 느린 수렴 문제를 해결하기 위해.
• 비독립identical 및 비분리 분포를 가진 그래프 구조 데이터에 적용할 때 기존의 피어드 학습 방법(FedAVG 및 FedProx)의 한계를 극복하기 위해.
• 고객 간 구조적 차이로 인한 그래프 데이터의 비분리성으로 인한 모델 발산을 줄이기 위해.
• 특히 희박하거나 별형 구조의 그래프(예: MUTAG 및 BGS)에서 일반화 능력을 향상시키고 과적합을 방지하기 위해.
• 기관 간 원시 그래프 데이터를 공유하지 않고도 개인정보 보호를 고려한 협업 학습을 가능하게 하기 위해.

제안 방법

• 지식 그래프에 특화된 수정된 RGCN 기반 피어드 학습 알고리즘인 FedAlign을 제안한다.
• 최적 운반(OT) 거리 측정 기반으로 로컬 및 글로벌 모델 간의 은닉 표현(기저)을 정렬하여 발산을 감소시킨다.
• 모델 가중치에 L-립시츠 제약 조건을 적용하여 매끄러움을 확보하고 수렴 안정성을 향상시킨다.
• 특히 낮은 간선 밀도를 가진 그래프에서 국소 데이터에 대한 과적합을 방지하기 위해 가중치 페널티 정규화를 도입한다.
• 고객 측 개인화를 위한 OT 기반 기저 정렬을 통한 피어드 평균 전략을 구현한다.
• 기저 정렬과 가중치 페널티를 통합 최적화 목표에 결합하여 모델 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 어떻게 관계형 데이터 모델링, 특히 불완전하고 이질적인 지식 그래프에 대해 피어드 학습을 효과적으로 적용할 수 있는가?
• RQ2 피어드 그래프 학습에서 로컬 모델과 글로벌 모델 간에 심각한 발산이 발생하는 원인은 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ3 최적 운반 기반 기저 정렬이 피어드 그래프 신경망에서 모델 정렬과 수렴성을 향상시키는 데 기여하는가?
• RQ4 L-립시츠 가중치 페널티는 희박하거나 별형 구조의 그래프 데이터 세트에서 과적합을 얼마나 줄이고 성능을 향상시키는가?
• RQ5 관계형 데이터 작업에서 수렴 속도와 최종 성능 측면에서 FedAlign은 FedAVG 및 FedProx와 어떻게 비교되는가?

주요 결과

• FedAlign은 AIFB, MUTAG, BGS 세 가지 기준 데이터셋에서 FedAVG 및 FedProx를 모두 압도하며, 수렴성과 최종 정확도에서 일관된 향상을 보였다.
• MUTAG 및 BGS에서 L-립시츠 가중치 페널티를 추가함으로써 성능이 1%에서 5% 향상되었으며, 특히 초기 정체 단계에서 회복하는 데 도움이 되었다.
• MUTAG 및 BGS에서 FedAlign-L(가중치 페널티 포함)은 초도 하락 후 지속적인 향상을 보였지만, 기준 방법들은 정체 상태에 머물렀다. 이는 국소 최적점에서의 탈출 능력 향상을 시사한다.
• 기저 정렬에 최적 운반 기반 기법을 사용함으로써, 특히 구조적으로 이질적인 그래프에서 로컬 및 글로벌 모델 표현 간의 발산을 크게 감소시켰다.
• 개선에도 불구하고, 분산 환경에서의 정보 손실 문제로 인해 여전히 중앙집중식 학습 대비 피어드 모델의 성능이 열등한 편이었으며, 이는 지속적인 과제임을 시사한다.
• 희박한 간선 밀도를 가진 그래프에서 과적합을 효과적으로 완화하였으며, FedAVG 및 FedProx는 국소 데이터 부족으로 인한 일반화 능력 열악함을 악용하였다.