[논문 리뷰] DINGO: Distributed Newton-Type Method for Gradient-Norm Optimization

Rixon Crane, Fred Roosta|arXiv (Cornell University)|2019. 01. 16.

Sparse and Compressive Sensing Techniques참고 문헌 27인용 수 20

한 줄 요약

DINGO는 간단한 선형 최소제곱 하위문제를 풀어 기울기의 노름을 최소화하는 통신 효율적인 분산 뉴턴 유형 최적화 알고리즘이다. 하이퍼파rameter 선택과 관계없이 기울기 노름 감소를 보장하며, 다양한 비볼록 문제와 임의의 데이터 분포에서 일阶 및 다른 이阶 방법보다 통신 효율성과 안정성에서 뛰어나다.

ABSTRACT

For optimization of a sum of functions in a distributed computing environment, we present a novel communication efficient Newton-type algorithm that enjoys a variety of advantages over similar existing methods. Similar to Newton-MR, our algorithm, DINGO, is derived by optimization of the gradient's norm as a surrogate function. DINGO does not impose any specific form on the underlying functions, and its application range extends far beyond convexity. In addition, the distribution of the data across the computing environment can be arbitrary. Further, the underlying sub-problems of DINGO are simple linear least-squares, for which a plethora of efficient algorithms exist. Lastly, DINGO involves a few hyper-parameters that are easy to tune. Moreover, we theoretically show that DINGO is not sensitive to the choice of its hyper-parameters in that a strict reduction in the gradient norm is guaranteed, regardless of the selected hyper-parameters. We demonstrate empirical evidence of the effectiveness, stability and versatility of our method compared to other relevant algorithms.

연구 동기 및 목표

• 대규모 머신러닝 및 과학 계산에서 통신 오버헤드를 줄이는 분산 최적화 알고리즘을 개발하기 위해.
• 특정 기능 형태가 필요 없이 비볼록 및 비정규화된 문제로 이阶 최적화를 확장하기 위해.
• 분산 환경에서 최소한의 하이퍼파rameter 민감도로 강인한 수렴을 보장하기 위해.
• 통신 라운드 수를 최소화하여 분산 컴퓨팅 자원을 효율적으로 활용하기 위해.
• 간단한 선형 최소제곱 하위문제에 기반한 실용적이고 구현 가능한 방법을 제공하기 위해.

제안 방법

• DINGO는 최적화를 기울기의 노름을 최소화하는 방식으로 설정하며, 탐색 방향을 안내하기 위해 대체 목적함수를 사용한다.
• 각 반복에서 선형 최소제곱 문제를 풀어 탐색 방향을 계산하는 분산 비정확 뉴턴 방법을 적용한다.
• 기울기 노름의 충분한 감소를 보장하기 위해 백트래킹 선색색선을 사용하여 스텝 크기를 선택한다.
• 워커 노드와 중앙 드라이버 간에 기울기 및 헤시안 관련 정보만 교환함으로써 통신을 최소화한다.
• 알고리즘은 강인하도록 설계되었으며, 하이퍼파rameter 값과 관계없이 기울기 노름의 엄격한 감소가 보장된다.
• 워커 간에 임의의 데이터 분할을 지원하며, 볼록성 또는 표준 미분 가능성 이외의 조건이 필요하지 않다.

실험 결과

연구 질문

• RQ1 통신 효율적이면서도 볼록 문제를 초월해 적용 가능한 분산 이阶 최적화 방법을 설계할 수 있는가?
• RQ2 최소한의 통신으로 분산 환경에서 헤시안 근사치를 효율적으로 계산할 수 있는가?
• RQ3 기울기 노름 최소화에 기반한 뉴턴 유형 방법이 최소한의 하이퍼파arameter 민감도로 전역 수렴을 보장하는가?
• RQ4 통신 효율성과 수렴 속도 측면에서 DINGO는 일阶 및 다른 이阶 방법보다 어떻게 비교되는가?
• RQ5 DINGO는 다양한 네트워크 지연 시간을 가진 이질적이고 분산된 컴퓨팅 환경에서 효과적으로 확장될 수 있는가?

주요 결과

• DINGO는 AWS에서 시간당 12회의 반복을 완료하여 단일 노드에서의 8회 대비 50% 증가한 성능를 보이며 분산 환경에서 효과적인 확장성을 입증했다.
• Sync-SGD와 비교해 DINGO는 AWS에서 통신 비용을 80% 이상 감소시켰으며, 덜 많은 반복을 수행했지만 기울기 노름 수렴 속도가 더 빠르게 나타났다.
• DINGO는 GIANT, DiSCO, InexactDANE, AIDE보다도 더 빠른 기울기 노름 감소를 달성했으며, 통신 횟수도 적게 사용했다.
• 실증 결과에 따르면 DINGO는 CIFAR10, EMNIST 등 여러 데이터셋과 소프트맥스 회귀와 같은 다양한 문제 유형에서 안정적이고 빠른 수렴을 유지한다.
• 알고리즘의 성능는 하이퍼파arameter 선택에 강인하다: 선색색선 파aram터 θ의 다양한 값에서도 유사한 목적함수 수렴을 보였지만, θ=10⁻⁴일 때 기울기 노름 감소가 가장 빠르게 나타났다.
• 비볼록 환경에서도 DINGO는 모든 베이스라인을 능가하며 기울기 노름을 감소시켰으며, 하이퍼파aram터 튜닝과 무관하게 보장되는 수렴성을 확보했다.