[논문 리뷰] GIANT: Globally Improved Approximate Newton Method for Distributed Optimization

Shusen Wang, Fred Roosta외 2명|arXiv (Cornell University)|2017. 09. 11.

Stochastic Gradient Optimization Techniques인용 수 75

한 줄 요약

GIANT은 로컬에서 계산된 근사 뉴턴 방향을 워커 간 평균화하여 전역 방향을 구성하는 분산 뉴턴 유형 최적화 방법으로, 커뮤니케이션 효율적이며 여러 1차 및 2차 차수 기준선보다 증명적으로 더 빠른 수렴을 달성하고 단 하나의 튜닝 매개변수만 필요하다.

ABSTRACT

For distributed computing environment, we consider the empirical risk minimization problem and propose a distributed and communication-efficient Newton-type optimization method. At every iteration, each worker locally finds an Approximate NewTon (ANT) direction, which is sent to the main driver. The main driver, then, averages all the ANT directions received from workers to form a {\\it Globally Improved ANT} (GIANT) direction. GIANT is highly communication efficient and naturally exploits the trade-offs between local computations and global communications in that more local computations result in fewer overall rounds of communications. Theoretically, we show that GIANT enjoys an improved convergence rate as compared with first-order methods and existing distributed Newton-type methods. Further, and in sharp contrast with many existing distributed Newton-type methods, as well as popular first-order methods, a highly advantageous practical feature of GIANT is that it only involves one tuning parameter. We conduct large-scale experiments on a computer cluster and, empirically, demonstrate the superior performance of GIANT.

연구 동기 및 목표

• 분산된 경험적 위험 최소화의 계산 및 커뮤니케이션 병목 현상을 해결한다.
• 로컬 곡률 정보를 활용하면서 노드 간 커뮤니케이션을 최소화하는 뉴턴 타입 방법을 개발한다.
• 일阶 방법 및 기존 분산 뉴턴 방법과 비교하여 향상된 수렴 속도를 보이는 이론적 보장을 제공한다.
• 대규모 분산 데이터셋에서 실용적 성능 향상을 보여준다.

제안 방법

• 각 워커는 데이터 부분집합을 사용하여 로컬 근사 뉴턴(ANT) 방향을 계산한다.
• 로컬 ANT 방향은 Hessian-벡터 곱을 공액 기울법으로 해결하여 얻으며, 명시적 Hessian 형성을 피한다.
• GIANT 방향은 로컬 ANT 방향들의 평균(해시안 의미의 해머니안 평균)으로, 전역적으로 향상된 업데이트를 제공한다: p_t ≈ (1/m) ∑_i H̃_{t,i}^{-1} g_t.
• 반복당 커뮤니케이션은 d 차원 벡터를 보내는 것으로 제한되며, d×d 행렬은 전송하지 않는다.
• 이 방법은 단 하나의 튜닝 매개변수를 사용한다: 로컬 해를 위한 CG 반복의 최대 수.
• 수렴 분석은 표준 Lipschitz Hessian 가정하의 전역 수렴을 갖는 이차 손실 함수와, 일반 매끄러운 손실에 대해 선형-제곱의 로컬 수렴을 보이며,

실험 결과

연구 질문

• RQ1 GIANT가 이차 목적함수에 대해 전역 수렴을 달성하고, 기존의 이차 방법들과 비교하여 분산 환경에서 향상된 수렴 속도를 보일 수 있는가?
• RQ2 로컬에서 계산된 방향을 집계할 때 해머니안 평균 Hessian 근사가 커뮤니케이션 복잡도와 실용적 성능에 어떤 영향을 미치는가?
• RQ3 로컬 하위 문제 해가 근사적일 때(예: CG를 통한) 어떤 수렴 보장이 있으며, 이를 정확한 해와 비교하면 어떠한가?
• RQ4 대규모 실제 데이터셋에서 GIANT가 기존 기준선(AGD, L-BFGS, DANE)에 대해 실험적으로 어떤 성능을 보이는가?

주요 결과

• GIANT는 로컬 방향을 평균화하고 명시적 Hessian 전송을 피함으로써 매 반복 커뮤니케이션이 d^2가 아니라 d에 비례하는 커뮤니케이션 효율적인 업데이트를 달성한다.
• 이차 손실의 경우, GIANT는 조건수에 대한 로그 의존성을 갖는 전역 수렴을 달성하여 이전의 분산 뉴턴 방법보다 향상된다.
• 일반 매끄러운 손실의 경우 GIANT은 선형-제곱 로컬 수렴을 보이며, 선형 항은 Hessian 근사에 의해, 제곱 항은 비이차 목적의 효과에 의해 결정된다.
• GIANT은 다수의 데이터셋에 걸친 대규모 로지스틱 회귀 작업에서 우수한 실험적 성능을 보이며, 동일 벽시계 시간 내에 AGD, L-BFGS, DANE보다 훈련 목적값과 테스트 오류를 개선한다.
• 이 방법은 단 하나의 튜닝 매개변수(최대 CG 반복 수)만 필요하며, 수렴 보장을 해치지 않으면서 근사적 로컬 해를 지원한다.
• 실험에 추가된 선형 검색은 강건성을 유지하고 추가 튜닝이 필요하지 않아 GIANT의 전체적인 단순성을 유지한다.