[논문 리뷰] Privacy-Preserving Asynchronous Federated Learning Algorithms for Multi-Party Vertically Collaborative Learning

Bin Gu, An Xu외 3명|arXiv (Cornell University)|2020. 08. 14.

Privacy-Preserving Technologies in Data참고 문헌 45인용 수 17

한 줄 요약

이 논문은 수직적으로 분할된 데이터를 위한 비동기 분산 학습 알고리즘—AFSGD-VP, 그 SVRG 및 SAGA 변종—을 제안한다. 이는 다자 간 협업 학습 환경에서 기밀 보장과 효율적인 학습을 가능하게 하며, 강한 볼록성 조건 하에서 수렴성을 확보한다. 이 방법들은 동기적 대안들보다 효율성이 뛰어나며, 계산 자원이 균형 잡히지 않은 환경에서도 특히 유리하다. 암호 기법을 통해 데이터 및 모델 기밀성을 유지한다.

ABSTRACT

The privacy-preserving federated learning for vertically partitioned data has shown promising results as the solution of the emerging multi-party joint modeling application, in which the data holders (such as government branches, private finance and e-business companies) collaborate throughout the learning process rather than relying on a trusted third party to hold data. However, existing federated learning algorithms for vertically partitioned data are limited to synchronous computation. To improve the efficiency when the unbalanced computation/communication resources are common among the parties in the federated learning system, it is essential to develop asynchronous training algorithms for vertically partitioned data while keeping the data privacy. In this paper, we propose an asynchronous federated SGD (AFSGD-VP) algorithm and its SVRG and SAGA variants on the vertically partitioned data. Moreover, we provide the convergence analyses of AFSGD-VP and its SVRG and SAGA variants under the condition of strong convexity. We also discuss their model privacy, data privacy, computational complexities and communication costs. To the best of our knowledge, AFSGD-VP and its SVRG and SAGA variants are the first asynchronous federated learning algorithms for vertically partitioned data. Extensive experimental results on a variety of vertically partitioned datasets not only verify the theoretical results of AFSGD-VP and its SVRG and SAGA variants, but also show that our algorithms have much higher efficiency than the corresponding synchronous algorithms.

연구 동기 및 목표

• 다자 환경에서 수직적으로 분할된 데이터에 대해 효율적이고 기밀 보장이 되는 분산 학습 알고리즘이 부족한 문제를 해결하기 위해.
• 계산 및 통신 자원이 균형 잡히지 않은 실세계 시스템에서 동기적 방법에 국한된 기존 접근법의 한계를 극복하기 위해.
• 협업 학습을 가능하게 하면서도 데이터 및 모델 기밀성을 유지하는 비동기 확률적 최적화 알고리즘을 설계하기 위해.
• 제안된 비동기 알고리즘에 대해 강한 볼록성 조건 하에서 이론적 수렴 분석을 제공하기 위해.
• 제안된 방법의 효율성과 기밀 보장 기능을 다양한 수직 분할 데이터셋에서 실험적으로 검증하기 위해.

제안 방법

• 각 당사자가 동일한 실체의 서로 다른 특징을 보유하는 수직 분할된 데이터에 특화된 비동기 분산 확률적 경사하강법인 AFSGD-VP를 제안한다.
• 분산 감소 기법을 통합하여 AFSGD-VP를 SVRG 및 SAGA 변종으로 확장함으로써 수렴 속도를 향상시킨다.
• 통신 및 집계 과정에서의 유출을 방지하기 위해 암호 프rotocol를 활용하여 데이터 및 모델 기밀성을 확보한다.
• 리아파노프 함수 접근법을 사용하여 수렴 한계를 유도하고, 이질성과 분산 감소가 최적화 안정성에 미치는 영향을 분석한다.
• 지연된 경사하강 및 부분 갱신을 고려하여 강한 볼록성 조건 하에서 수렴 속도를 확립하기 위해 재귀적 오차 한계 분석을 도입한다.
• 기타 당사자들이 대기할 필요 없이 각 당사자가 독립적으로 업데이트를 수행할 수 있는 매개변수 갱신 메커니즘을 사용하여 시스템 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 수직적으로 분할된 데이터에 대해 비동기 분산 학습을 효과적으로 적용하면서 기밀성을 유지할 수 있는가?
• RQ2 비동기성은 수직 협업 환경에서 분산 학습의 수렴에 어떤 영향을 미치는가?
• RQ3 비동기 분산 학습의 분산 감소 변종(SVRG, SAGA)이 표준 비동기 SGD보다 수렴 속도와 안정성 측면에서 뛰어나다고 할 수 있는가?
• RQ4 강한 볼록성 조건 하에서 제안된 비동기 알고리즘의 이론적 수렴 속도는 얼마인가?
• RQ5 제안된 알고리즘은 수직 분할된 데이터에서 기존의 동기 분산 학습 방법과 비교해 효율성과 기밀 보장 측면에서 어떻게 다른가?

주요 결과

• 제안된 AFSGD-VP, SVRG 및 SAGA 변종는 강한 볼록성 조건 하에서 수렴성을 확보하며, 비동기 업데이트에 대한 이론적 한계가 도출되었다.
• 이 알고리즘들은 계산 자원이 균형 잡히지 않은 상황에서도 동기적 대안들보다 훨씬 뛰어난 학습 효율성을 보였다.
• 강한 볼록성 조건 하에서 AFSGD-VP의 수렴 속도는 O(1/t)로 나타났으며, 이는 이질성과 분산 감소에 명시적인 의존성을 보였다.
• 이론적 분석과 실험 결과를 통해 SAGA 변종는 낮은 경사하강 분산으로 인해 AFSGD-VP보다 더 빠른 수렴 속도를 확보하였다.
• 수직 분할된 데이터셋에 대한 광범위한 실험을 통해 이론적 수렴 성능가 확인되었으며, 동기적 방법 대비 높은 학습 효율성을 입증하였다.
• 안전한 집계 및 암호 기법을 통해 제안된 방법들은 원시 데이터가 노출되지 않도록 기밀성을 유지하였다.