[논문 리뷰] Newton-ADMM: A Distributed GPU-Accelerated Optimizer for Multiclass Classification Problems

Chih-Hao Fang, Sudhir B. Kylasa외 3명|arXiv (Cornell University)|2018. 07. 18.

Stochastic Gradient Optimization Techniques참고 문헌 47인용 수 6

한 줄 요약

이 논문은 다중분류에서 더 빠른 수렴과 낮은 통신 비용을 달성하기 위해 비정확 뉴턴 방법과 ADMM 공감 프레임워크를 결합한 분산형 GPU 가속 최적화기인 Newton-ADMM을 제안한다. GPU 가속 Hessian-벡터 곱과 스펙트럼 페널티 매개변수 선택을 통해 학습 시간을 단축하고 일반화 성능을 향상시켜 GIANT와 같은 최신 기법들보다 빠른 성능을 보이며, 대규모 데이터셋에서 최대 11.14×의 성능 향상을 달성한다.

ABSTRACT

First-order optimization methods, such as stochastic gradient descent (SGD) and its variants, are widely used in machine learning applications due to their simplicity and low per-iteration costs. However, they often require larger numbers of iterations, with associated communication costs in distributed environments. In contrast, Newton-type methods, while having higher per-iteration costs, typically require a significantly smaller number of iterations, which directly translates to reduced communication costs. In this paper, we present a novel distributed optimizer for classification problems, which integrates a GPU-accelerated Newton-type solver with the global consensus formulation of Alternating Direction of Method Multipliers (ADMM). By leveraging the communication efficiency of ADMM, GPU-accelerated inexact-Newton solver, and an effective spectral penalty parameter selection strategy, we show that our proposed method (i) yields better generalization performance on several classification problems; (ii) significantly outperforms state-of-the-art methods in distributed time to solution; and (iii) offers better scaling on large distributed platforms.

연구 동기 및 목표

• 분산 기계학습에서 SGD와 같은 1차 최적화 방법의 높은 통신 비용과 느린 수렴 문제를 해결한다.
• GPU 가속과 효율적인 ADMM 공식화를 통해 뉴턴 유형 방법의 높은 반복 비용을 극복한다.
• 대규모 분산 다중분류 문제에서 일반화 성능을 향상시키고 학습 시간을 단축시킨다.
• 높은 정확도를 유지하면서 자원 오버헤드를 최소화하는 확장 가능하고 통신 효율적인 최적화 프레임워크를 개발한다.
• 시간 대비 솔루션 성능과 확장성에서 최신 기법들을 능가하는 새로운 분산 최적화 기준을 설정한다.

제안 방법

• 전역 공감 ADMM 프레임워크 내에 GPU 가속 비정확 뉴턴 솔버를 통합하여 계산 비용과 수렴 속도의 균형을 이룬다.
• ADMM 페널티 매개변수를 동적으로 조정하여 하위문제 해의 정확도와 수렴성을 향상시키기 위해 스펙트럼 페널티 매개변수 선택(SPS) 전략을 적용한다.
• GPU에서 효율적으로 계산된 Hessian-벡터 곱을 활용해 전체 Hessian 저장을 피하고 스케일러블한 2차 최적화를 가능하게 한다.
• 로컬 하위문제를 노드 간에 병렬로 해결하고 이중 상승 단계를 통해 공감을 강제하는 분산 ADMM 아키텍처를 적용한다.
• 분산 환경에서 뉴턴 방법의 빠른 수렴성과 ADMM의 통신 효율성을 결합한 하이브리드 접근 방식을 구현한다.
• 수렴 평가를 위해 단일 노드 뉴턴 방법으로부터의 고정밀 기준 해를 사용하여 상대 최적성 간격 θ = (F(xᵏ) - F(x*)) / F(x*) 를 계산한다.

실험 결과

연구 질문

• RQ1 GPU 가속 비정확 뉴턴 방법을 ADMM와 통합함으로써, 분산 다중분류에서 1차 최적화 방법보다 더 빠른 수렴과 낮은 통신 비용을 달성할 수 있는가?
• RQ2 스펙트럼 페널티 매개변수 선택(SPS) 전략은 ADMM 기반 뉴턴 솔버의 수렴성과 강건성에 어떤 영향을 미치는가?
• RQ3 Newton-ADMM는 시간 대비 솔루션 성능과 일반화 성능 측면에서 GIANT와 같은 최신 기반 분산 최적화기보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 Newton-ADMM는 고차원 데이터셋(280K 특성 포함)에서 대규모 분산 플랫폼에서 얼마나 잘 확장되는가?
• RQ5 실제 대규모 데이터셋에서 높은 정확도를 유지하면서도 초당 에포크 시간을 1초 이내로 줄일 수 있는가?

주요 결과

• MNIST 데이터셋에서 Newton-ADMM는 GIANT 대비 5.15× 빠른 성능을 보이며, θ < 0.05 에 도달하기 위해 252 에포크만 소요되는 반면 GIANT는 1086 에포크가 소요된다.
• CIFAR-10에서 Newton-ADMM는 11.14× 빠른 성능을 기록하여 1204 에포크 만에 수렴하는 데에 그치고, GIANT는 3215 에포크가 소요된다.
• HIGGS 데이터셋에서는 두 방법 모두 빠르게 수렴(각각 1 에포크)하지만, Newton-ADMM는 다른 데이터셋에서 열등한 성능를 유지한다.
• E18 데이터셋(280K 특성)에서는 Newton-ADMM가 32개 노드에서 1.98초의 초당 에포크 시간을 달성하여 강력한 확장성을 보였다.
• Figure 5(b)에 나타나 있듯이, Newton-ADMM는 GIANT보다 더 낮은 목적 함수 값과 더 높은 테스트 정확도를 더 빨리 달성하며, 특히 초기 학습 단계에서 두각을 나타낸다.
• Newton-ADMM는 약한 확장성과 강한 확장성 모두에서 뛰어난 성능를 보이며, 대규모 분산 플랫폼에서 일관된 성능 향상을 보여주어 분산 최적화의 새로운 성능 기준을 확립한다.