[논문 리뷰] Decentralized and Parallelized Primal and Dual Accelerated Methods for Stochastic Convex Programming Problems

Darina Dvinskikh, Alexander Gasnikov|arXiv (Cornell University)|2019. 04. 18.

Stochastic Gradient Optimization Techniques참고 문헌 65인용 수 19

한 줄 요약

이 논문은 볼록 최적화를 위한 분산형, 병렬화된 원본 및 이중 가속 확률적 경사하강법을 제안하며, 통신 복잡도를 최적화하고 로그 인자까지 근접한 최적의 오라클 복잡도를 달성한다. 미니배칭을 통합함으로써 노드 수준의 병렬 처리가 가능해져 대규모 데이터 과학 및 역문제에 적합하다.

ABSTRACT

We introduce primal and dual stochastic gradient oracle methods for decentralized convex optimization problems. Both for primal and dual oracles, the proposed methods are optimal in terms of the number of communication steps. However, for all classes of the objective, the optimality in terms of the number of oracle calls per node takes place only up to a logarithmic factor and the notion of smoothness. By using mini-batching technique, we show that the proposed methods with stochastic oracle can be additionally parallelized at each node. The considered algorithms can be applied to many data science problems and inverse problems.

연구 동기 및 목표

• 분산형 네트워크에서 확장 가능하고 효율적인 분산 볼록 최적화 문제를 해결한다.
• 노드당 높은 계산 효율성을 유지하면서도 통신 오버헤드를 최소화하는 방법을 개발한다.
• 원본 및 이중 확률적 경사하강법에 대해 최적의 통신 복잡도를 달성한다.
• 미니배칭을 통해 각 노드에서의 병렬 처리를 도입하여 수렴 보장을 유지하면서도 계산 처리량을 향상시킨다.
• 제안된 방법을 대규모 데이터에 적용 가능한 실제 데이터 과학 및 역문제에 적용할 수 있도록 한다.

제안 방법

• 분산형 볼록 최적화에 특화된 원본 및 이중 확률적 경사하강 오라클 방법을 설계한다.
• 분산 환경에서 가속 경사 기법을 활용하여 통신 단계의 최적성을 확보한다.
• 각 노드에서의 계산을 병렬화하기 위해 미니배칭을 도입하여 순차적 오라클 호출의 효과적인 수를 줄인다.
• 노이즈가 있는 경사 추정치가 존재하더라도 확률적 오라클 액세스 하에 수렴 보장을 유지한다.
• 중앙 조정자가 없는 상태에서 노드 간 업데이트를 동기화하기 위해 공약 기반의 통신 프로토콜을 사용한다.
• 모멘텀 또는 네스테로프 스타일의 가속 기법을 적용하여 원본 및 이중 해법 모두에서 수렴 속도를 향상시킨다.

실험 결과

연구 질문

• RQ1 원본 및 이중 확률적 경사하강법이 분산 볼록 최적화에서 최적의 통신 복잡도를 달성할 수 있는가?
• RQ2 수렴 성능이 저하되지 않도록 미니배칭을 통해 노드 수준의 병렬 처리를 어느 정도 달성할 수 있는가?
• RQ3 제안된 방법의 오라클 복잡도가 매끄러움 조건과 로그 인자를 고려할 때 이론적 하한과 비교해 어떻게 되는가?
• RQ4 제안된 방법은 대규모 데이터 과학 및 역문제에 어떻게 스케일링되는가?
• RQ5 분산 확률적 최적화에서 통신 효율성과 계산 병렬화 사이의 상충 관계는 어떠한가?

주요 결과

• 제안된 원본 및 이중 방법은 이론적 하한과 일치하는 최적의 통신 복잡도를 달성한다.
• 매끄러움 조건을 가정할 경우, 노드당 오라클 복잡도에서 로그 인자까지 근접한 near-optimal 성능을 보인다.
• 미니배칭을 통해 각 노드에서 효과적인 병렬 처리가 가능해져 통신 비용을 증가시키지 않으면서도 계산 처리량을 향상시킨다.
• 분산형 및 확률적 성격 덕분에 광범위한 데이터 과학 및 역문제에 적용 가능하다.
• 모멘텀 유사 기법을 적용하여 수렴 속도를 가속화하여 표준 확률적 경사하강법보다 성능을 향상시킨다.
• 이론적 분석을 통해 분산 환경에서 노이즈가 있는 경사 노이즈 하에서도 방법이 안정성과 수렴성을 유지함을 확인한다.