[논문 리뷰] Training Neural Networks Without Gradients: A Scalable ADMM Approach

Gavin Taylor, Ryan Burmeister외 4명|arXiv (Cornell University)|2016. 05. 06.

Stochastic Gradient Optimization Techniques참고 문헌 26인용 수 146

한 줄 요약

ADMM/브레그먼 기반 방법을 도입해 gradient descent 없이 신경망을 훈련시키고 수천 코어에 걸쳐 선형 확장 및 대형 데이터셋에서 강건한 성능을 가능하게 한다.

ABSTRACT

With the growing importance of large network models and enormous training datasets, GPUs have become increasingly necessary to train neural networks. This is largely because conventional optimization algorithms rely on stochastic gradient methods that don't scale well to large numbers of cores in a cluster setting. Furthermore, the convergence of all gradient methods, including batch methods, suffers from common problems like saturation effects, poor conditioning, and saddle points. This paper explores an unconventional training method that uses alternating direction methods and Bregman iteration to train networks without gradient descent steps. The proposed method reduces the network training problem to a sequence of minimization sub-steps that can each be solved globally in closed form. The proposed method is advantageous because it avoids many of the caveats that make gradient methods slow on highly non-convex problems. The method exhibits strong scaling in the distributed setting, yielding linear speedups even when split over thousands of cores.

연구 동기 및 목표

• 대규모 신경망에 대한 gradient 기반 훈련의 한계를 동기 부여하고 다루기.
• 대치 가능한 subproblem으로 훈련을 닫힌 형식 해를 갖는 문제로 분해하는 교대 최소화 프레임워크를 제안합니다.
• 분산 설정에서의 확장성 입증 및 대규모 데이터셋에서 표준 gradient 기반 방법과의 성능 비교.
• 구현, 초기화 및 매개변수 선택에 대한 실용적인 가이드를 제공합니다.
• 순환 및 컨볼루션 네트워크에 대한 이론적 해석 및 잠재적 확장에 대해 논의합니다.

제안 방법

• W_l과 활성화를 분리하기 위해 보조 변수 z_l 및 a_l를 도입하여 네트워크 변수 분리.
• 제약 문제로 훈련을 공식화하고 W_l, a_l, z_l에 대해 닫힌 형식의 부분 문제를 갖는 브레그먼/ADMM 유사 반복을 적용합니다.
• W_l 업데이트를 단순 선형 최소 제곱으로 해결: W_l <- z_l a_l^T (a_l a_l^T)^{-1} (페이던트 역행렬을 통해).
• a_l 업데이트를 다음으로 해결: a_l = (β_{l+1} W_{l+1}^T W_{l+1} + γ_l I)^{-1} (β_{l+1} W_{l+1}^T z_{l+1} + γ_l h_l(z_l)).
• z_l 업데이트를 decoupled 1D 문제들에서 해결: 최소화 γ_l ||a_l − h_l(z_l)||^2 + β_l ||z_l − W_l a_{l-1}||^2의 닫힌 형식 또는 조합 해를 가지는 활성화(예: ReLU)에 대한 해를 얻습니다.
• 람다 승수 업데이트 λ <- λ + β_L (z_L − W_L a_{L-1}); Bregman 반복 및 승수법의 해석에 대해 논의합니다.

실험 결과

연구 질문

• RQ1 뉴럴 네트워크를 gradient 기반 단계 없이 효과적으로 훈련할 수 있는가?
• RQ2 데이터와 계산이 수천 코어에 분산될 때 ADMM/브레그먼 기반 접근 방식이 선형으로 스케일링되는가?
• RQ3 대규모 데이터셋에서 속도와 정확도 면에서 제안된 방법이 SGD, CG, L-BFGS와 비교하여 어떻게 되는가?
• RQ4 프레임워크를 반복 또는 컨볼루션 아키텍처로 확장하여 효율적인 부분 문제 해법을 제공할 수 있는가?

주요 결과

• 이 방법은 gradient 단계 없이 닫힌 형식 해를 갖는 하위 문제들로 훈련을 분해합니다.
• 활성화와 가중치 업데이트가 층 간에 분해되어 층과 데이터에 걸쳐 병렬화가 가능해집니다.
• 실험 결과 코어 수에서 선형 확장을 보였고, ADMM은 큰 데이터셋에서 시간 대 정확도 벤치마크에서 전통적 방법보다 우수했습니다.
• SVHN에서 ADMM은 수천 코어에 대한 강력한 스케일링과 함께 GPU 기반 방법과 비교하여 시간-대-정확도에서 경쟁력을 보였습니다.
• Higgs 데이터셋에서 코어 수 증가에 따라 64% 정확도에 훨씬 빠르게 도달했고(예: 7200 코어에서 7.8초), 그보다 gradient 방법은 뒤처졌습니다.
• L-BFGS는 Higgs에서 더 높은 최종 정확도를 달성했지만 동일한 임계값에 대해 ADMM보다 훨씬 더 많은 시간이 필요했습니다.