[논문 리뷰] VAFL: a Method of Vertical Asynchronous Federated Learning

Tianyi Chen, Xiao Jin외 2명|arXiv (Cornell University)|2020. 07. 12.

Privacy-Preserving Technologies in Data참고 문헌 39인용 수 88

한 줄 요약

VAFL은 로컬 임베딩을 가진 비동기 수직 연합 학습 프레임워크를 제안하여 협력 없이 클라이언트 측 업데이트를 가능하게 하고, perturbed local embeddings를 통해 프라이버시를 보존합니다. 이는 볼록(convex), 비볼록(nonconvex), 비평형(non-smooth) 목표에 대한 수렴 보장을 제공하며 이미지와 보건 데이터에서 경쟁력 있는 결과를 시현합니다.

ABSTRACT

Horizontal Federated learning (FL) handles multi-client data that share the same set of features, and vertical FL trains a better predictor that combine all the features from different clients. This paper targets solving vertical FL in an asynchronous fashion, and develops a simple FL method. The new method allows each client to run stochastic gradient algorithms without coordination with other clients, so it is suitable for intermittent connectivity of clients. This method further uses a new technique of perturbed local embedding to ensure data privacy and improve communication efficiency. Theoretically, we present the convergence rate and privacy level of our method for strongly convex, nonconvex and even nonsmooth objectives separately. Empirically, we apply our method to FL on various image and healthcare datasets. The results compare favorably to centralized and synchronous FL methods.

연구 동기 및 목표

• 수직(특징 분할) 연합 학습에서 비동기 클라이언트 업데이트의 도전 과제를 다룬다.
• 각 클라이언트가 로컬 임베딩을 독립적으로 학습하고 컴팩트한 임베딩만 통신하도록 한다.
• 변조된 로컬 임베딩을 통한 프라이버시 보호 메커니즘을 제시하고 차등 프라이버시 보장을 분석한다.
• 비동기 지연 하에서 비볼록, 강한 볼록성, 비연속적 목표의 수렴 속도를 확립한다.
• 이미지 및 보건 데이터셋에서 연합 로지스틱 회귀 및 심층 학습 태스크를 통해 방법을 검증한다.

제안 방법

• 전역 서버 모델 θ0와 로컬 데이터 xm에서 매핑된 각 클라이언트의 로컬 임베딩 hi를 포함하는 수직 FL을 F(θ0, θ) = (1/N) Σ_n ℓ(θ0, h_n,1, ..., h_n,M; y_n) + Σ_m r(θ_m)로 형식화한다.
• VAFL을 제안: 활성 클라이언트가 h_n,m을 업로드하고 그래디언트를 질의하며 로컬 θ를 업데이트하는 비동기적 업데이트를 수행; 서버는 지연된 임베딩을 사용하여 θ0를 업데이트하며 비협조적 데이터 선택 및 간헐적 참여를 지원한다.
• 임베딩의 매 계층에 임의의 뉴런 Z_l을 추가하여 매핑을 매끄럽게 하고 차등 프라이버시가 가능하도록 perturbed 로컬 임베딩을 도입한다; ZL ~ N(0, c^2) 및 Zl ~ Uniform[-√3 cl, √3 cl]로 교란을 정의한다.
• 비동기 지연의 한계 및 확률적 무한지연하에서의 수렴 결과를 확립하고 비볼록 및 강한 볼록의 경우를 다루며, 비볼록에 대해 O(1/√K), 강한 볼록에 대해 O(1/K)인 스텝 크기 스케줄을 제공한다.
• Z를 기대값으로 적용하여 perturbed 임베딩이 매끄러운 목적함수 F_c를 도출하도록 하는 스무딩 분석을 도입하여 수렴 증명을 가능하게 한다.
• mu-가우시안 차등 프라이버시(GDP)와 같은 프라이버시-유틸리티 트레이드오프를 통해 perturbation 분산에 대한 조건을 도출한다.

실험 결과

연구 질문

• RQ1 비선형적이고 가능하면 비매끄러운 로컬 임베딩을 갖는 수직 FL에서 비동기 업데이트를 효과적으로 사용할 수 있는가?
• RQ2 경계 및 무한 지연에서 VAFL의 비볼록 및 강한 볼록 목표에 대해 어떤 수렴 속도를 달성할 수 있는가?
• RQ3 로컬 임베딩의 교란이 프라이버시 보장(GDP)과 학습 성능에 어떤 영향을 미치는가?
• RQ4 VAFL가 이미지 및 보건 데이터셋에서 중앙 집중식 및 동기화 FL과 비교하여 경쟁력 있는 성능을 달성할 수 있는가?

주요 결과

• 비볼록 경우에 대해 경계 지연에서 O(1/√K)의 수렴을 달성하고, 강한 볼록의 경우 O(1/K)의 수렴을 달성한다.
• 확률적 무한 지연하에서도 경계 지연 설정과 동일한 차수의 수렴 속도를 얻는다.
• 교란된 로컬 임베딩은 목적함수를 매끄럽게 하고 차등 프라이버시를 가능하게 하지만 정확도 손실은 크지 않으며 GDP 보장은 교란 분산과 관련이 있다.
• MNIST, Fashion-MNIST, CIFAR10, Parkinson’s 데이터세트, ModelNet40, MIMIC-III에서 중앙 집중식 모델에 필적하는 정확도와 완전한 동기 FL보다 벽시계 시간에서 우수한 성능을 보인다.
• 프레임워크는 간헐적 클라이언트 참여와 차등 프라이버시 기술을 통한 데이터 프라이버시를 지원하면서도 경쟁력 있는 성능을 유지한다.