[논문 리뷰] Balancing Communication and Computation in Distributed Optimization

Albert S. Berahas, Raghu Bollapragada외 2명|arXiv (Cornell University)|2017. 09. 09.

Distributed Control Multi-Agent Systems참고 문헌 59인용 수 7

한 줄 요약

이 논문은 분산 최적화에서 통신과 계산을 균형 있게 조절하기 위해 적응형 비용 프레임워크를 제안하며, 이러한 구성 요소를 명시적으로 분해함으로써 사용자 정의 가능한 알고리즘을 가능하게 한다. 저자들은 NEAR-DGD+를 도입한다 — 이는 적응적으로 공감 단계를 증가시켜 최적 해에 정확히 수렴하는 정확한 일阶 방법으로, 이차 및 로지스틱 회귀 문제에서 이론적·실제로 표준 DGD보다 뛰어난 성능을 발휘한다.

ABSTRACT

Methods for distributed optimization have received significant attention in recent years owing to their wide applicability in various domains. A distributed optimization method typically consists of two key components: communication and computation. More specifically, at every iteration (or every several iterations) of a distributed algorithm, each node in the network requires some form of information exchange with its neighboring nodes (communication) and the computation step related to a (sub)-gradient (computation). The standard way of judging an algorithm via only the number of iterations overlooks the complexity associated with each iteration. Moreover, various applications deploying distributed methods may prefer a different composition of communication and computation. Motivated by this discrepancy, in this work we propose an adaptive cost framework which adjusts the cost measure depending on the features of various applications. We present a flexible algorithmic framework, where communication and computation steps are explicitly decomposed to enable algorithm customization for various applications. We apply this framework to the well-known distributed gradient descent (DGD) method, and show that the resulting customized algorithms, which we call DGD$^t$, NEAR-DGD$^t$ and NEAR-DGD$^+$, compare favorably to their base algorithms, both theoretically and empirically. The proposed NEAR-DGD$^+$ algorithm is an exact first-order method where the communication and computation steps are nested, and when the number of communication steps is adaptively increased, the method converges to the optimal solution. We test the performance and illustrate the flexibility of the methods, as well as practical variants, on quadratic functions and classification problems that arise in machine learning, in terms of iterations, gradient evaluations, communications and the proposed cost framework.

연구 동기 및 목표

• 반복 횟수만으로 분산 최적화 알고리즘을 평가하는 데서 비롯하는 한계를 해결하기 위해, 각 반복에서의 통신 및 계산 비용을 고려하지 않는 문제를 해결한다.
• 응용 분야의 하드웨어 및 네트워크 제약 조건에 맞게 통신과 계산을 사용자 정의할 수 있는 융통성 있는 알고리즘 프레임워크를 개발한다.
• 특히 저비용 통신 환경에서, 기울기 평가당 다수의 공감 단계를 허용함으로써 수렴 품질을 향상시킨다.
• 표준 DGD가 오직 해의 이웃에 수렴하는 데 반해, 최적 해에 정확히 수렴하는 정확한 일阶 방법을 설계한다.
• 이차 및 로지스틱 회귀 문제에 대해 프레임워크를 실증적으로 검증하여, 제안된 비용 지표 하에서 뛰어난 성능을 보임을 입증한다.

제안 방법

• 응용 분야의 특성에 맞는 매개변수를 사용해 통신 및 계산 비용을 가중치화하는 적응형 비용 프레임워크를 제안하며, 반복 횟수를 초월한 통합된 성능 평가를 가능하게 한다.
• 표준 DGD를 명시적인 통신 및 계산 단계로 분해하여 DGD_t, NEAR-DGD_t, NEAR-DGD+ 알고리즘 계열을 구성한다.
• 공감 단계와 기울기 단계가 중첩된 정확한 일阶 방법인 NEAR-DGD+를 도입하며, 공감 단계의 수가 시간이 지남에 따라 적응적으로 증가한다.
• 강凸성 조건 하에서 NEAR-DGD+의 선형 수렴 속도 분석을 수행하여 최적 해로의 전역 수렴을 증명한다.
• 분산 문제의 공감 제약 조건 재구성 기법을 활용해, 연결된 네트워크에서 국소 업데이트 및 이웃 간 통신을 가능하게 한다.
• 이 프레임워크를 이차 및 로지스틱 회귀 문제에 적용하며, 반복 횟수, 기울기 평가 횟수, 통신 횟수, 제안된 비용 지표 기반의 성능 측정을 수행한다.

실험 결과

연구 질문

• RQ1 어떻게 분산 최적화의 통신 및 계산 비용을 의미 있는 단일 성능 지표로 통합할 수 있는가?
• RQ2 통신 및 계산 단계를 명시적으로 분해하면 더 나은 성능을 내고 더 융통성 있는 분산 알고리즘이 도출될 수 있는가?
• RQ3 기울기 평가당 공감 단계 수를 늘리면 해의 정확도와 최적 해로의 수렴 품질이 향상되는가?
• RQ4 일정 단계 크기를 사용할 때에도 최적 해에 정확히 수렴하는 알고리즘을 설계할 수 있는가?
• RQ5 제안된 프레임워크는 로지스틱 회귀와 같은 실제 기계학습 문제에서 어떻게 실증적으로 성능을 발휘하는가?

주요 결과

• 표준 DGD는 해의 이웃에만 수렴하는 데 반해, NEAR-DGD+는 일정 단계 크기로 최적 해에 정확히 수렴한다.
• 강凸 함수에 대해 선형 수렴 속도를 확보하여 이론적 효율성을 확인한다.
• 이차 문제에서 공감 단계 수가 증가한 방법들(예: NEAR-DGD+(1,1,1000))은 표준 DGD 및 NEAR-DGD(1,1,-)보다 해의 정확도에서 뛰어난 성능을 보였다.
• mushrooms 데이터셋(n=10, p=114)에서의 로지스틱 회귀 실험 결과, 고정된 비용 예산 하에서도 적응형 공감 단계를 가진 NEAR-DGD+ 변종은 DGD 및 NEAR-DGD(1,1,-)보다 낮은 상대 오차를 기록했다.
• 적응형 비용 프레임워크는 NEAR-DGD(1,1,-)가 고정된 비용 조건 하에서는 경쟁 가능하지만, 다른 방법들이 정체점에 도달한 후에도 NEAR-DGD+는 계속 향상됨을 드러냈다.
• 실증 결과는 기울기 평가당 공감 단계 수를 늘릴수록 해의 품질이 향상되며, 특히 저비용 통신 환경에서 그 효과가 두드러진다는 것을 확인했다.