[논문 리뷰] Distributed Optimization for Client-Server Architecture with Negative Gradient Weights

Shripad Gade, Nitin H. Vaidya|arXiv (Cornell University)|2016. 08. 12.

Privacy-Preserving Technologies in Data참고 문헌 24인용 수 3

한 줄 요약

이 논문은 다중 파라미터 서버 아키텍처를 위한 동기 분산 최적화 알고리즘을 제안하며, 개인 정보 보호를 향상시키기 위해 무작위로 선택된 음수 기울기 가중치를 사용한다. 이 알고리즘은 교차하는 공감과 투영된 경사 하강법을 결합하여 임의의 시간에 따라 변화하는 연결 구조에서도 수렴성을 보장한다. 시간에 따라 변화하는 가중치 덕분에 최적값 주변의 진동이 감소하여 수렴 속도가 빨라진다.

ABSTRACT

Availability of both massive datasets and computing resources have made machine learning and predictive analytics extremely pervasive. In this work we present a synchronous algorithm and architecture for distributed optimization motivated by privacy requirements posed by applications in machine learning. We present an algorithm for the recently proposed multi-parameter-server architecture. We consider a group of parameter servers that learn a model based on randomized gradients received from clients. Clients are computational entities with private datasets (inducing a private objective function), that evaluate and upload randomized gradients to the parameter servers. The parameter servers perform model updates based on received gradients and share the model parameters with other servers. We prove that the proposed algorithm can optimize the overall objective function for a very general architecture involving $C$ clients connected to $S$ parameter servers in an arbitrary time varying topology and the parameter servers forming a connected network.

연구 동기 및 목표

• 클라이언트가 민감한 데이터를 보유하고 기울기만 공유하는 분산 머신 러닝 환경에서의 개인 정보 보호 문제를 해결하기 위해.
• 임의의 시간에 따라 변화하는 통신 연결 구조를 가진 다중 파라미터 서버 아키텍처에 대해 증명 가능하게 수렴하는 최적화 알고리즘을 개발하기 위해.
• 클라이언트가 업로드할 때 무작위로 선택된, 경우에 따라 음수일 수 있는 기울기 가중치를 도입하여 파라미터 서버가 개별 클라이언트의 데이터를 유추하지 못하도록 개인 정보 보호를 향상시키기 위해.
• 음수 가중치와 동적인 서버 간 통신 패턴을 사용하더라도 알고리즘이 정확성과 수렴성을 유지함을 보여주기 위해.
• 서버 간 통신 연결 구조가 수렴 속도와 안정성에 미치는 영향을 분석하기 위해.

제안 방법

• 알고리즘은 이중 스토하스틱 가중치 행렬을 사용하여 파라미터 서버가 공감 업데이트를 수행하는 방식으로, 교차하는 공감과 투영된 경사 하강법을 사용한다.
• 클라이언트는 무작위로 선택된 기울기를 계산하고 업로드하며, 이 가중치는 음수일 수 있어 진짜 기울기 방향을 파라미터 서버가 알 수 없도록 한다.
• 시간에 따라 변화하는 학습률 Δ를 사용하며, 표준 조건(합과 제곱합 제약 조건)을 만족할 경우 수렴성을 보장한다.
• 공감에 사용되는 가중치 행렬은 이중 스토하스틱이며, 엄격한 극한 조건(SLC)과 유계 상한 조건(BUC)을 모두 충족한다.
• 시스템은 C개의 클라이언트와 S개의 파라미터 서버로 구성되며, 클라이언트-서버 간 및 서버-서버 간 연결 구조가 임의의 시간에 따라 변화한다.
• 기울기 합이 0으로 수렴하고 결정 집합 𝒳가 볼록이며 컴act할 경우 수렴성이 증명된다.

실험 결과

연구 질문

• RQ1 음수 기울기 가중치를 가진 분산 최적화 알고리즘이 다중 파라미터 서버 아키텍처에서 최적 해로 수렴할 수 있는가?
• RQ2 서버 간 통신 연결 구조의 선택이 수렴 속도와 안정성에 어떤 영향을 미치는가?
• RQ3 시간에 따라 변화하는 무작위 기울기 가중치를 사용함으로써 수렴성에 손상이 없이 개인 정보 보호를 향상시킬 수 있는가?
• RQ4 학습률이 고정되어 있고 연결 구조가 시간에 따라 변화하는 경우에도 알고리즘이 정확성과 수렴성을 유지할 수 있는가?
• RQ5 음수 가중치가 반복의 궤적과 평균에서의 이격도에 어떤 영향을 미치는가?

주요 결과

• 파라미터 서버 네트워크가 연결되어 있는 한, 클라이언트와 파라미터 서버의 임의의 시간에 따라 변화하는 연결 구조에서도 알고리즘이 최적 해로 수렴한다.
• 시간에 따라 변화하는 기울기 가중치를 사용할 경우, 최적값 주변의 장기적인 이탈을 방지하여 더 빠른 수렴 속도를 달성한다.
• 파라미터 서버 간 완전 그래프 연결 구조가 정보 혼합 최적화 덕분에 가장 빠른 수렴 속도를 보인다.
• 스타 구조는 일반적으로 널리 쓰이지만, 수렴 속도와 RMS 오차 감소 측면에서 가장 열 劣하다.
• 사이클릭 그래프 구조는 연결성과 빠른 정보 혼합 덕분에 선형(경로) 구조보다 성능이 뛰어나다.
• 반복마다 기울기 가중치를 무작위로 변경하더라도 알고리즘이 수렴성을 유지함을 통해, 동적 가중치 할당에 대한 강건성을 입증한다.