[논문 리뷰] Theoretical Limits of Pipeline Parallel Optimization and Application to Distributed Deep Learning

Igor Colin, Ludovic Dos Santos외 1명|arXiv (Cornell University)|2019. 10. 11.

Stochastic Gradient Optimization Techniques인용 수 5

한 줄 요약

이 논문은 분산 딥 러닝에서 파이프라인 병렬 최적화의 이론적 한계를 규명하며, 비연속 문제를 위한 파이프라인 병렬 랜덤 스무딩(PPRS)을 제안한다. PPRS는 무작위 표본 추출을 통해 기울기를 스무딩하여 거의 최적의 수렴을 달성하며, 깊이에 따라 영향을 받는 구성요소를 가속화하고, 데이터가 제한된 소수의 샘플 및 적대적 학습 환경에서 GD와 AGD를 능가한다.

ABSTRACT

We investigate the theoretical limits of pipeline parallel learning of deep learning architectures, a distributed setup in which the computation is distributed per layer instead of per example. For smooth convex and non-convex objective functions, we provide matching lower and upper complexity bounds and show that a naive pipeline parallelization of Nesterov's accelerated gradient descent is optimal. For non-smooth convex functions, we provide a novel algorithm coined Pipeline Parallel Random Smoothing (PPRS) that is within a $d^{1/4}$ multiplicative factor of the optimal convergence rate, where $d$ is the underlying dimension. While the convergence rate still obeys a slow $\varepsilon^{-2}$ convergence rate, the depth-dependent part is accelerated, resulting in a near-linear speed-up and convergence time that only slightly depends on the depth of the deep learning architecture. Finally, we perform an empirical analysis of the non-smooth non-convex case and show that, for difficult and highly non-smooth problems, PPRS outperforms more traditional optimization algorithms such as gradient descent and Nesterov's accelerated gradient descent for problems where the sample size is limited, such as few-shot or adversarial learning.

연구 동기 및 목표

• 파이프라인 병렬 최적화의 이론적 분석을 통해 분산 딥 러닝에서의 한계를 규명한다.
• 소수의 샘플 또는 적대적 학습과 같은 제한된 훈련 데이터가 있는 환경에서 비연속적이고 비볼록 최적화 문제에 도전한다.
• 비연속 목표 함수를 위한 파이프라인 병렬 환경에서 수렴을 가속화할 수 있는 새로운 알고리즘을 설계한다.
• 제안된 방법이 표준 최적화 알고리즘보다 뛰어난 성능을 보임을 실증적으로 검증한다.

제안 방법

• 파이프라인 병렬 분산 환경에서 기울기 추정치에 랜덤 스무딩을 적용하는 새로운 알고리즘인 파이프라인 병렬 랜덤 스무딩(PPRS)을 제안한다.
• 현재 파라미터 주변에서 기울기의 몬테카를로 표본 추출을 통해 목적 함수를 스무딩하여 비연속성의 영향을 감소시킨다.
• 비연속 볼록 함수의 최적 수렴 속도에 비해 $d^{1/4}$ 요소 내에서 수렴 속도를 달성하는 깊이 인식 수렴 분석을 도입한다.
• 각 층이 기울기 하위를 병렬로 계산하고, 유한 지연 채널을 통해 통신하는 분산 계산 모델을 활용한다.
• 깊이 $ abla$, 차원 $d$, 문제 파라미터를 고려하여 수렴 복잡도를 분석하고, $Oig((\text{depth})^2 m + \frac{RL}{\theta} \nabla d^{1/4}\big)$ 의 경계를 유도한다.
• 계산 및 통신 지연을 모델링하여 파이프라인 병렬성을 시뮬레이션하며, 반복 시간은 $T(K + \nabla - 1)$ 비례한다. 여기서 $K$는 기울기 표본 수이다.

실험 결과

연구 질문

• RQ1 매끄럽고 비연속 볼록 함수에 대해 파이프라인 병렬 최적화의 이론적 수렴 한계는 무엇인가?
• RQ2 비연속 문제의 수렴을 가속화하기 위해 파이프라인 병렬 분산 환경에서 랜덤 스무딩을 효과적으로 적용할 수 있는가?
• RQ3 계산 그래프의 깊이가 파이프라인 병렬 최적화에서 수렴 속도에 어떤 영향을 미치는가?
• RQ4 어떤 환경(예: 소수의 샘플, 적대적 학습)에서 PPRS가 GD 및 AGD와 같은 표준 최적화 알고리즘을 능가하는가?

주요 결과

• 비연속 볼록 함수의 경우, PPRS는 최적 수렴 속도에 비해 $d^{1/4}$ 배수 요소 내에서 수렴 속도를 달성하며, 깊이에 따라 영향을 받는 수렴을 크게 향상시킨다.
• PPRS의 수렴 속도는 깊이에 따라 영향을 받는 항에서 가속화되어 네트워크 깊이에 대해 거의 선형적인 가속도를 달성한다.
• 적대적 공격 실험에서, $K=10$ 또는 $K=100$ 표본을 사용한 PPRS는 GD 및 AGD보다 수렴 속도가 빠르고 더 안정적이다. 특히 학습률을 높일 경우 두드러진다.
• PPRS는 $K=2$ 이며 높은 학습률($10^{-3}$)을 사용할 경우 발산하지만, $K=10$을 사용할 경우 더 높은 학습률($10^{-3}$)에서도 수렴함을 보여, 더 많은 표본이 안정성을 향상시킨다.
• GD 및 AGD는 수렴하기 위해 각각 더 작은 학습률($10^{-5}$ 및 $10^{-7}$)을 요구하며, 이는 PPRS에 비해 수렴 속도가 느리다.
• 특히 데이터 크기가 작을 경우, $l_\infty$-제약 조건이 있는 적대적 공격과 같은 매우 비연속적인 문제에서 PPRS는 GD 및 AGD를 능가하는 수렴 속도를 보인다.