[논문 리뷰] Stochastic, Distributed and Federated Optimization for Machine Learning

Jakub Konečný|arXiv (Cornell University)|2017. 07. 04.

Stochastic Gradient Optimization Techniques참고 문헌 156인용 수 32

한 줄 요약

이 논문은 강한 볼록 문제에 대해 선형 수렴를 달성하고 분산 분석을 통한 변동성 감소를 실현하며, 국소 하위문제 해결을 통해 통신 비용을 줄이고, 중앙집중적 데이터 수집을 피함으로써 기밀성 보장 학습을 가능하게 하는 새로운 확률적, 분산형, 피어드 최적화 알고리즘을 제안한다. 핵심 기여는 스케일러블하고 탈중앙화된 학습을 유지하면서도 모델 정확도와 기밀성을 확보하는 통신 효율적인 프레임워크를 제공한다는 점이다.

ABSTRACT

We study optimization algorithms for the finite sum problems frequently arising in machine learning applications. First, we propose novel variants of stochastic gradient descent with a variance reduction property that enables linear convergence for strongly convex objectives. Second, we study distributed setting, in which the data describing the optimization problem does not fit into a single computing node. In this case, traditional methods are inefficient, as the communication costs inherent in distributed optimization become the bottleneck. We propose a communication-efficient framework which iteratively forms local subproblems that can be solved with arbitrary local optimization algorithms. Finally, we introduce the concept of Federated Optimization/Learning, where we try to solve the machine learning problems without having data stored in any centralized manner. The main motivation comes from industry when handling user-generated data. The current prevalent practice is that companies collect vast amounts of user data and store them in datacenters. An alternative we propose is not to collect the data in first place, and instead occasionally use the computational power of users' devices to solve the very same optimization problems, while alleviating privacy concerns at the same time. In such setting, minimization of communication rounds is the primary goal, and we demonstrate that solving the optimization problems in such circumstances is conceptually tractable.

연구 동기 및 목표

• 강한 볼록 문제에 대해 전역 기울기 계산이 필요 없이 선형 수렴를 달성하는 분산 분석 최적화 방법을 개발하기 위해.
• 각 노드에서 국소 하위문제를 형성하고 임의의 국소 최적화 알고리즘으로 독립적으로 해결할 수 있는 통신 효율적인 분산 최적화 프레임워크를 설계하기 위해.
• 사용자 기기에서 데이터가 중앙에 집중되지 않도록 하여 통신을 최소화하고 기밀성을 유지하는 피어드 최적화를 가능하게 하기 위해.
• 심층 신경망의 대규모 분산 학습에서의 확장성과 내구성 문제를 해결하기 위해.
• 피어드 최적화가 분산 기계 학습을 위한 확장 가능한 계산 모델로 실용적으로 가능한지 탐색하기 위해.

제안 방법

• 강한 볼록 설정에서 선형 수렴를 달성하는 변동성 감소 기반의 반정적 기울기 하강법인 S2GD 및 S2GD+를 제안한다.
• 각 노드에서 국소 하위문제를 형성하고 임의의 국소 최적화 알고리즘으로 독립적으로 해결할 수 있는 분산 최적화 프레임워크를 도입한다.
• 통신 비용을 최소화하기 위해 단지 집계된 업데이트만 공유하는 통신 효율적인 반복적 기법을 적용한다.
• 중앙 집중형 데이터 수집 없이 사용자 기기에서 모델 업데이트를 가능하게 함으로써 피어드 학습에 프레임워크를 적용한다.
• 개별 사용자 기여를 서버가 숨기기 위해 보안 집계 프로토콜을 사용하여 기밀성을 향상시킨다.
• 노이즈 주입을 통한 미세한 기밀성 보장을 제공하기 위해 차별 기밀성 기법을 통합한다.

실험 결과

연구 질문

• RQ1 전역 기울기 계산이 필요 없이 변동성 감소 기반의 확률적 방법이 선형 수렴를 달성할 수 있는가?
• RQ2 수렴성과 정확도를 유지하면서도 분산 최적화에서 통신 비용을 어떻게 최소화할 수 있는가?
• RQ3 실세계 시스템에서 중앙집중형 학습의 대안으로서 피어드 최적화는 실현 가능하고 확장 가능한가?
• RQ4 보안 집계와 차별 기밀성은 통신 효율적인 최적화 프레임워크와 통합될 수 있는가?
• RQ5 대규모로 피어드 최적화를 구현할 때의 시스템 수준의 과제와 설계 상의 트레이드오프는 무엇인가?

주요 결과

• S2GD와 S2GD+는 변동성 감소 기반으로 강한 볼록 목적함수에 대해 선형 수렴를 달성하며, 수렴 속도에서 표준 SGD를 크게 능가한다.
• 국소 하위문제를 포함한 제안된 분산 프레임워크는 노드 간 효율적인 확장성을 제공하며, 통신 오버헤드를 줄이고도 수렴성을 유지한다.
• 피어드 최적화를 통해 데이터를 중앙에 집중시키지 않고 사용자 기기에서 모델을 학습시킬 수 있어 기밀성에 민감한 응용 분야에 적합하다.
• 피어드 환경에서 통신 효율성은 핵심 요소이며, 프레임워크는 수렴을 위해 필요한 통신 라운드 수를 줄였다.
• 보안 집계와 차별 기밀성은 프레임워크에 통합될 수 있으며, 모델 유틸리티를 손상시키지 않으면서도 강력한 기밀성 보장을 제공한다.
• 프레임워크는 개념적으로 해석 가능하고 확장 가능하며, 이동 기기에서 RNN과 같은 복잡한 모델의 학습을 지원한다.