[논문 리뷰] Communication-Efficient Distributed Optimization of Self-Concordant Empirical Loss

Yuchen Zhang, Lin Xiao|arXiv (Cornell University)|2015. 01. 01.

Stochastic Gradient Optimization Techniques인용 수 9

한 줄 요약

이 논문은 기계학습에서 자가-일관성(empirical) 손실 함수를 최소화하기 위한 통신 효율적인 분산 최적화 알고리즘을 제안한다. 이 알고리즘은 비정확한 감쇠 뉴턴 방법과 분산 조정 공액 기울기(Preconditioned Conjugate Gradient, PCG) 해법기를 결합하여 반복 복잡도가 샘플 크기와 무관하고 기계 수와 함께 느리게 증가하며, 대규모 학습 문제에 대해 매우 확장 가능하다.

ABSTRACT

We consider distributed convex optimization problems originated from sample average approximation of stochastic optimization, or empirical risk minimization in machine learning. We assume that each machine in the distributed computing system has access to a local empirical loss function, constructed with i.i.d. data sampled from a common distribution. We propose a communication-efficient distributed algorithm to minimize the overall empirical loss, which is the average of the local empirical losses. The algorithm is based on an inexact damped Newton method, where the inexact Newton steps are computed by a distributed preconditioned conjugate gradient method. We analyze its iteration complexity and communication efficiency for minimizing self-concordant empirical loss functions, and discuss the results for distributed ridge regression, logistic regression and binary classification with a smoothed hinge loss. In a standard setting for supervised learning, the required number of communication rounds of the algorithm does not increase with the sample size, and only grows slowly with the number of machines.

연구 동기 및 목표

• 대규모 경험적 리스크 최소화 문제를 해결하기 위해 필요한 통신 라운드 수를 최소화하여 분산 기계학습에서의 통신 병목 현상을 해결한다.
• 데이터 크기나 기계 수가 증가함에 따라 통신 비용을 증가시키지 않으면서도 높은 수렴 속도를 유지할 수 있는 확장 가능한 알고리즘을 개발한다.
• 자기-일관성 손실 함수에 대해 제안된 방법의 반복 복잡도와 통신 효율성을 분석한다. 이는 로지스틱 회귀와 리지 회귀를 포함한다.
• 자기-일관성과 강한 볼록성과 같은 표준 가정 하에 수렴 보장을 확보하면서도, 각 반복의 통신 오버헤드를 낮춘다.

제안 방법

• 알고리즘은 m台의 기계에 걸쳐 분산된 국소 경험 손실의 평균을 최소화하기 위해 비정확한 감쇠 뉴턴 방법을 사용한다.
• 각 뉴턴 단계는 국소 헤시안 근사치로부터 구성된 조정자(preconditioner)를 사용하는 분산 조정 공액 기울기(PCG) 방법을 통해 계산된다.
• 손실 함수의 자기-일관성 성질을 활용하여 전역 수렴을 보장하고, 뉴턴 단계의 비정확성을 통제한다.
• 통신 횟수를 최소화하기 위해 각 반복에서 오직 한 번의 라운드만 수행한다: 현재 반복값을 브로드캐스트하고 기계 간에 기울기 및 헤시안 정보를 집계한다.
• 알고리즘은 통신 횟수가 기계 수와 함께 느리게 증가하고, 기계당 샘플 크기와 무관하게 유지됨을 보장한다.
• 내부 해법의 빠른 수렴을 보장하기 위해, 조정된 시스템의 조건수를 사용하여 PCG 반복 수를 이론적으로 제한한다.

실험 결과

연구 질문

• RQ1 기계당 샘플 수와 무관한 통신 효율성을 갖는 분산 최적화 알고리즘이 가능할 수 있는가?
• RQ2 비정확한 뉴턴 방법과 분산 선형 시스템 해법기를 효과적으로 조합하여 통신 오버헤드를 최소화할 수 있는가?
• RQ3 자기-일관성 경험 손실 함수에 대해 감쇠 뉴턴 방법의 반복 복잡도는 분산 환경에서 어떻게 되는가?
• RQ4 통신 횟수는 기계 수와 문제의 조건수와 어떻게 상관관계를 가지는가?

주요 결과

• 알고리즘은 기계당 샘플 크기 증가에 따라 통신 횟수가 증가하지 않아 대규모 데이터에 매우 확장 가능하다.
• 반복 복잡도는 기계 수와 함께 느리게 증가하며, 조건수의 로그 인자와 차원의 다항로그 인자로 제한된다.
• 로지스틱 회귀 및 리지 회귀와 같은 자기-일관성 손실 함수에 대해, 선형 수렴을 달성하고 데이터 크기와 무관한 통신 복잡도를 확보한다.
• 각 뉴턴 단계당 PCG 반복 수는 조건수 κ에 대해 O(√κ)로 제한되며, 이는 내부 해법의 빠른 수렴을 보장한다.
• 이론적 보장에 따르면 적절한 매개변수 설정 하에 기대값 기반의 최적성 갭은 O(1/√n) 이하로 제한된다. 여기서 n은 기계당 샘플 수이다.