[논문 리뷰] Parallel Distributed Logistic Regression for Vertical Federated Learning without Third-Party Coordinator

Shengwen Yang, Bing Ren외 2명|arXiv (Cornell University)|2019. 11. 22.

Privacy-Preserving Technologies in Data참고 문헌 8인용 수 95

한 줄 요약

이 논문은 세 번째 당사자 조정자 없이 파이프라인된 분산 로지스틱 회귀 프레임워크를 제시하여, 파라미터-서버 아키텍처를 활용해 다수 서버에 걸친 확장 가능한 학습을 가능하게 한다.

ABSTRACT

Federated Learning is a new distributed learning mechanism which allows model training on a large corpus of decentralized data owned by different data providers, without sharing or leakage of raw data. According to the characteristics of data dis-tribution, it could be usually classified into three categories: horizontal federated learning, vertical federated learning, and federated transfer learning. In this paper we present a solution for parallel dis-tributed logistic regression for vertical federated learning. As compared with existing works, the role of third-party coordinator is removed in our proposed solution. The system is built on the pa-rameter server architecture and aims to speed up the model training via utilizing a cluster of servers in case of large volume of training data. We also evaluate the performance of the parallel distributed model training and the experimental results show the great scalability of the system.

연구 동기 및 목표

• /raw 데이터를 공유하지 않고 수직으로 분포된 데이터에 대한 학습을 동기 부여하고 해결한다.
• Vertical FL에 적합한 병렬 분산 로지스틱 회귀 솔루션을 개발한다.
• 신뢰할 수 있는 제3자 조정자에 대한 의존성을 제거하면서도 프라이버시 보장을 유지한다.
• 대규모 학습 데이터 세트에서 제안된 시스템의 확장성을 시연한다.

제안 방법

• 분산 최적화를 조정하기 위해 Parameter-server 기반 아키텍처를 채택한다.
• Vertical federated learning에 맞춘 병렬 분산 로지스틱 회귀를 구현한다.
• FL 워크플로우에서 신뢰할 수 있는 제3자 조정자에 대한 의존성을 제거한다.
• 대규모 데이터에 대한 학습 속도를 높이기 위해 서버 clusters를 활용한다.

실험 결과

연구 질문

• RQ1 제3자 코디네이터 없이 모델 성능과 프라이버시를 유지하면서 vertical federated learning을 수행할 수 있는가?
• RQ2 Parameter-server 아키텍처가 vertical FL에서 학습 속도와 확장성에 어떤 영향을 미치는가?
• RQ3 여러 서버에 걸쳐 로지스틱 회귀 학습을 분산시키는 것이 수렴에 어떤 영향을 미치는가?
• RQ4 제안된 접근 방식이 기존 coordinator-dependent 방법들과 비교해 확장 가능한 성능을 달성하는가?

주요 결과

• 제3자 조정자 없이 vertical FL에서 병렬 분산 로지스틱 회귀의 실현 가능성을 입증한다.
• 대규모 학습 데이터 용량에 대해 서버 클러스터를 사용할 때 시스템의 확장성을 보여준다.
• Vertical FL 설정에서 병렬 분산 방식으로 성능 개선을 검증한다.