[논문 리뷰] FL-NTK: A Neural Tangent Kernel-based Framework for Federated Learning Convergence Analysis

Baihe Huang, Xiaoxiao Li외 2명|arXiv (Cornell University)|2021. 05. 11.

Privacy-Preserving Technologies in Data참고 문헌 38인용 수 4

한 줄 요약

이 논문은 과다 파rameter화된 ReLU 신경망을 사용하는 연합 학습에서 수렴성과 일반화를 분석하기 위한 새로운 NTK 기반 프레임워크인 FL-NTK를 제안한다. NTK 이론을 활용하여 비볼록성, 비연속성의 목적함수 하에서 전역 최적해로의 선형 수렴을 증명하고, 데이터에 의존하는 일반화 경계를 수립함으로써 기존의 기울기 기반 분석에서의 한계를 극복한다.

ABSTRACT

Federated Learning (FL) is an emerging learning scheme that allows different distributed clients to train deep neural networks together without data sharing. Neural networks have become popular due to their unprecedented success. To the best of our knowledge, the theoretical guarantees of FL concerning neural networks with explicit forms and multi-step updates are unexplored. Nevertheless, training analysis of neural networks in FL is non-trivial for two reasons: first, the objective loss function we are optimizing is non-smooth and non-convex, and second, we are even not updating in the gradient direction. Existing convergence results for gradient descent-based methods heavily rely on the fact that the gradient direction is used for updating. This paper presents a new class of convergence analysis for FL, Federated Learning Neural Tangent Kernel (FL-NTK), which corresponds to overparamterized ReLU neural networks trained by gradient descent in FL and is inspired by the analysis in Neural Tangent Kernel (NTK). Theoretically, FL-NTK converges to a global-optimal solution at a linear rate with properly tuned learning parameters. Furthermore, with proper distributional assumptions, FL-NTK can also achieve good generalization.

연구 동기 및 목표

• 딥 신경망을 사용하는 연합 학습의 이론적 수렴 보장이 부족한 문제를 해결하기 위해, 특히 비볼록성, 비연속성의 목적함수와 다중 스텝 로컬 업데이트 조건 하에서의 수렴 보장을 확보하고자 한다.
• 기울기 이질성과 기울기 기반 전역 업데이트가 아닌 방식으로 인해 표준 기울기 기반 수렴 분석이 연합 학습에서 실패하는 문제를 극복하고자 한다.
• 과다 파arameter화된 신경망을 사용하여 연합 학습의 수렴성과 일반화를 분석하기 위한 통합적이고 일반화 가능한 프레임워크를 개발하고자 한다.
• 손실 함수의 볼록성 또는 연속성 가정 없이도 명시적인 수렴 속도와 일반화 경계를 도출하고자 한다.

제안 방법

• 과다 파arameter화된 네트워크의 NTK 이론에 기반한 연합 학습 신경 토너스 커널(FL-NTK) 프레임워크를 제안한다.
• 로컬 업데이트와 글로벌 집계의 역학을 캡처하는 비대칭 그램 행렬을 사용하여 FL에서 모델 가중치의 진화를 분석한다.
• 고객 데이터 이질성을 고려하여 라데마처 복잡도와 경험적 과정 이론을 통해 데이터에 의존하는 일반화 경계를 도입한다.
• 모델 가중치 및 일반화 오차의 변동을 제어하기 위해 확률적 농도 경계와 실패 사건에 대한 유니온 바ounds를 활용한다.
• 수렴성과 안정성을 보장하기 위해 무한한 넓이의 NTK 그램 행렬에 대한 스펙트럼 가정과 무작위 초기화를 적용한다.
• 커버링 수와 경험적 과정 경계를 포함한 통계학적 학습 이론 도구를 활용하여, 높은 확률로 일반화 오차를 도출한다.

실험 결과

연구 질문

• RQ1 손실 함수의 볼록성 또는 연속성 가정 없이도, ReLU 신경망을 사용하는 연합 학습에 대해 수렴 분석 프레임워크를 수립할 수 있는가?
• RQ2 과다 파arameter화된 모델을 사용할 경우, 고객 간 기울기 이질성이 FL의 수렴에 어떤 영향을 미치는가?
• RQ3 과다 파arameter화된 영역에서 데이터 분포와 모델 용량에 따라 의존하는 일반화 경계를 유도할 수 있는가?
• RQ4 고객 수와 로컬 업데이트 스텝 수가 과다 파arameter화된 네트워크를 갖는 FL에서 수렴 속도에 어떤 영향을 미치는가?
• RQ5 중앙 집중 학습에서의 대칭 NTK와는 다름없이 비대칭적인 FL-NTK 그램 행렬의 구조를 어떻게 다룰 수 있는가?

주요 결과

• 네트워크가 충분히 넓을 경우 적절한 학습률 조정 하에서 모든 고객의 훈련 손실이 선형 속도로 0으로 수렴한다.
• 높은 확률로 인구 손실가 $ \sqrt{\frac{2y^{\top}(H^{\infty})^{-1}y}{n}} + O\left(\sqrt{\frac{\log(n/\lambda\delta)}{2n}}\right) $ 로 상한이 둔다.
• 이 프레임워크는 목적함수의 볼록성 또는 연속성 가정 없이도 수렴성을 확보한다.
• 라데마처 복잡도를 활용하여 일반화 오차를 경계화하였으며, 이 경계는 데이터 분포와 모델 폭에 따라 달라진다.
• 통신 라운드 수는 고객 수가 증가함에 따라 증가하며, 이는 실증적 관찰과 일치한다.
• 무한한 넓이의 NTK 그램 행렬이 양의 최소 고유값을 가지며 가역성이 보장되는 데이터 분포의 비퇴화 조건 하에서 분석이 성립한다.