[논문 리뷰] On Accelerating Distributed Convex Optimizations

Kushal Chakrabarti, Nirupam Gupta외 1명|arXiv (Cornell University)|2021. 08. 19.

Stochastic Gradient Optimization Techniques참고 문헌 24인용 수 6

한 줄 요약

이 논문은 서버에서 조건수 문제로 인해 수렴이 느린 분산 볼록 최적화 문제에서 수렴 속도를 향상시키기 위해 반복적 조건화 기반 경사하강법(IPG) 알고리즘을 제안한다. 이 알고리즘은 서버에서 조건수 행렬을 적응적으로 갱신함으로써 성능을 향상시킨다. 기존의 방법들과 달리 IPG는 선형 수렴 속도를 확보하며, 해가 유일할 경우 초선형 수렴을 달성한다. 이는 전체 배치 및 노이즈 있는 환경에서 GD, Adam, BFGS보다 뛰어난 성능을 보이며, 일반화 성능을 유지한다.

ABSTRACT

This paper studies a distributed multi-agent convex optimization problem. The system comprises multiple agents in this problem, each with a set of local data points and an associated local cost function. The agents are connected to a server, and there is no inter-agent communication. The agents' goal is to learn a parameter vector that optimizes the aggregate of their local costs without revealing their local data points. In principle, the agents can solve this problem by collaborating with the server using the traditional distributed gradient-descent method. However, when the aggregate cost is ill-conditioned, the gradient-descent method (i) requires a large number of iterations to converge, and (ii) is highly unstable against process noise. We propose an iterative pre-conditioning technique to mitigate the deleterious effects of the cost function's conditioning on the convergence rate of distributed gradient-descent. Unlike the conventional pre-conditioning techniques, the pre-conditioner matrix in our proposed technique updates iteratively to facilitate implementation on the distributed network. In the distributed setting, we provably show that the proposed algorithm converges linearly with an improved rate of convergence than the traditional and adaptive gradient-descent methods. Additionally, for the special case when the minimizer of the aggregate cost is unique, our algorithm converges superlinearly. We demonstrate our algorithm's superior performance compared to prominent distributed algorithms for solving real logistic regression problems and emulating neural network training via a noisy quadratic model, thereby signifying the proposed algorithm's efficiency for distributively solving non-convex optimization. Moreover, we empirically show that the proposed algorithm results in faster training without compromising the generalization performance.

연구 동기 및 목표

• 집합 비용 함수가 조건수 문제로 인해 수렴 속도가 느리고 불안정한 분산 경사하강법 문제를 해결하기 위해.
• 로컬 데이터 포인트를 노출시키지 않으면서도 수렴 속도를 향상시키는 분산 알고리즘을 설계하기 위해.
• 이전에 이차 함수에 국한되어 있던 반복적 조건화 기법을 일반 볼록 최적화 문제로 확장하기 위해.
• 실제 통신 및 계산 오류를 모의하는 프로세스 노이즈 상황에서도 수렴 속도와 강건성을 향상시키기 위해.
• 노이즈가 있는 이차 모델을 통해 실제 로지스틱 회귀 및 신경망 학습에 대해 제안된 방법을 검증하기 위해.

제안 방법

• 서버는 해 추정치를 유지하고, 과거의 기울기를 기반으로 반복적으로 갱신되는 조건수 행렬을 사용한 조건화 기반 기울기를 이용해 이를 갱신한다.
• 조건수 행렬은 헤시안의 역행렬을 근사하는 재귀적 갱신 규칙을 통해 계산되며, 명시적인 헤시안 계산 없이도 두 번째 차수 정보를 활용할 수 있다.
• 알고리즘은 상호작용이 없는 동기식 서버 지원 분산 아키텍처에서 작동하며, 데이터 기밀성을 보장한다.
• 형식적으로 분석을 통해 일반 볼록 함수에 대해 선형 수렴을 증명하고, 최소화자가 유일할 경우 초선형 수렴을 입증한다.
• 대규모 환경에서의 계산 효율성을 유지하기 위해 조건수 행렬 갱신에 저랭크 근사 전략을 사용한다.
• 미니배치 기울기 계산을 통해 스트로스틱 환경으로 확장하였으며, 수렴 성질을 유지한다.

실험 결과

연구 질문

• RQ1 반복적 조건화 기법을 이차 함수에서 일반 볼록 최적화 문제로 분산 환경에서 효과적으로 확장할 수 있는가?
• RQ2 제안된 반복적 조건화 기법은 기존의 표준 분산 경사하강법 대비 수렴 속도를 향상시키는가?
• RQ3 프로세스 노이즈 상황에서, 즉 실제 통신 및 계산 오류를 모의하는 상황에서 알고리즘이 어떻게 성능을 발휘하는가?
• RQ4 로지스틱 회귀 및 신경망 학습 시 제안된 알고리즘의 일반화 성능은 어떠한가?
• RQ5 특정 조건, 예를 들어 최소화자가 유일할 경우 초선형 수렴을 달성할 수 있는가?

주요 결과

• 제안된 IPG 알고리즘은 기존의 분산 경사하강법 및 Adam, NAG와 같은 적응형 방법보다 더 빠른 속도로 선형 수렴을 달성한다.
• 해가 유일한 특수한 경우, IPG는 초선형 수렴을 달성하여 모든 다른 방법보다 수렴 속도에서 뛰어난 성능을 보였다.
• 전체 배치 설정에서는 BFGS를 제외한 모든 방법보다 IPG가 더 적은 반복 수를 요구하였다. BFGS는 프로세스 노이즈 상황에서 발산하였다.
• 프로세스 노이즈 상황에서 IPG는 MNIST 데이터셋에서 추정 비용의 최종 상대 오차가 가장 낮았고, CIFAR-10에서는 최종 비용이 가장 낮아 GD, HBM, Adam을 모두 능가하였다.
• 미니배치 설정에서는 MNIST 및 CIFAR-10 데이터셋에서 모두 허용 오차 한계에 도달하기 위해 필요한 반복 수가 가장 적었다.
• IPG로 학습된 모델의 테스트 오차는 GD, NAG, HBM, Adam와 유사하여, 더 빠른 학습에도 불구하고 일반화 성능이 떨어지지 않았다.