[논문 리뷰] Parle: parallelizing stochastic gradient descent

Pratik Chaudhari, Carlo Baldassi외 4명|arXiv (Cornell University)|2017. 07. 03.

Stochastic Gradient Optimization Techniques참고 문헌 35인용 수 18

한 줄 요약

Parle는 데이터 병렬 SGD에 비해 수렴 속도를 2–4배 빠르게 하는 딥 네ural 네트워크를 위한 새로운 병렬 훈련 알고리즘으로, CIFAR-10과 CIFAR-100에서 최신 일반화 오차를 달성한다. 다수의 모델 복제본을 엔트로피 정규화로 훈련하고, 프록시 결합 항을 통해 드물게 통신함으로써 추가 하이퍼파ram터 없이 다중 GPU 및 분산 시스템에서도 효율적인 확장이 가능하다.

ABSTRACT

We propose a new algorithm called Parle for parallel training of deep networks that converges 2-4x faster than a data-parallel implementation of SGD, while achieving significantly improved error rates that are nearly state-of-the-art on several benchmarks including CIFAR-10 and CIFAR-100, without introducing any additional hyper-parameters. We exploit the phenomenon of flat minima that has been shown to lead to improved generalization error for deep networks. Parle requires very infrequent communication with the parameter server and instead performs more computation on each client, which makes it well-suited to both single-machine, multi-GPU settings and distributed implementations.

연구 동기 및 목표

• 딥 네트워크의 분산 SGD 훈련에서 통신 비용과 일반화 성능 간의 상충 관계를 해결한다.
• 큰 배치 크기의 SGD(낮은 일반화 성능)와 작은 배치 크기의 SGD(높은 통신 오버헤드)의 한계를 극복한다.
• 추가 하이퍼파ram터 조정 없이도 단일 머신의 다중 GPU 및 분산 환경 모두에서 효율적이고 확장 가능한 병렬 훈련을 가능하게 한다.
• 평탄한 최소값을 활용하여 일반화 성능를 향상시키면서도 통신 빈도를 줄인다.
• 엔트로피 정규화와 탄성 평균화를 통합한 단일 프레임워크를 개발하여 강건하고 확장 가능한 최적화를 실현한다.

제안 방법

• 동일한 모델의 여러 복제본을 병렬로 훈련시키며, 각각 데이터의 부분 집합에서 다수의 경사 하강 스텝을 수행한다.
• 비볼록 손실 표면을 매끄럽게 하고 평탄한 최소값을 유도하기 위해 '로컬 엔트로피' $ f_{\rho}(x) = -\log\left(G_{\gamma} * e^{-f(x)}\right) $ 라고 불리는 수정된 손실 함수를 사용한다.
• 모든 복제본이 공통 기준 파라미터 $ x $ 쪽으로 일치하도록 하는 프록시 항 $ \frac{1}{2\rho} \|x^a - x\|^2 $ 을 통해 복제본을 결합함으로써 통신 주기를 감소시킨다.
• 점차적으로 $ \gamma \to 0 $ 과 $ \rho \to 0 $ 으로 줄이는 '스코핑'(scoping)을 통해 복제본을 하나의 최적 해로 수렴시킨다.
• 통신 빈도가 낮은 파라미터 서버 아키텍처를 구현하여 이질적인 시스템에 적합한 병렬 훈련을 가능하게 한다.
• 모든 실험에서 동일한 하이퍼파ram터를 유지하며, 표준 SGD 설정을 초과한 추가 조정 없이도 성능을 확보한다.

실험 결과

연구 질문

• RQ1 병렬 SGD에서 통신 빈도를 줄임으로써 딥 러닝 훈련의 수렴 속도를 빠르게 하고 일반화 성능를 향상시킬 수 있는가?
• RQ2 프록시 항과 엔트로피 정규화를 통해 다수의 모델 복제본을 결합함으로써 하이퍼파ram터 복잡도를 증가시키지 않고도 일반화 성능를 향상시킬 수 있는가?
• RQ3 Parle를 통해 분할된 데이터로 훈련된 모델이 전체 배치 SGD의 성능을 따라하거나 뛰어넘을 수 있는가?
• RQ4 로컬 엔트로피와 스코핑을 사용함으로써 비볼록 딥 러닝 문제에서 평탄한 최소값으로 안정적으로 수렴할 수 있는가?
• RQ5 컴pute 및 통신 능력이 상이한 이질적 시스템에서도 Parle는 효율적으로 확장 가능한가?

주요 결과

• Parle는 All-CNN 아키텍처를 사용해 CIFAR-10에서 데이터 병렬 SGD 대비 2–4배 빠른 월클록 속도를 기록하며, 기준 SGD가 37분이 걸리는 데 비해 75분 만에 훈련을 완료한다.
• Parle는 전체 데이터로 훈련했을 때 CIFAR-10에서 검증 오차 5.18%를 기록하여, 기준 SGD(6.15%)와 Elastic-SGD(5.76%)를 모두 뛰어넘는다.
• 3개의 복제본이 각각 50%의 데이터를 분할해 훈련하더라도 Parle는 5.89% 오차를 기록하며, 동일한 부분집합에서 훈련된 SGD(7.86%)보다 훨씬 우수한 성능를 보이며 데이터 분할에 대한 강건성을 입증한다.
• 6개의 복제본 각각이 25%의 데이터로 훈련된 경우 Parle는 6.08% 오차를 기록하지만, 동일한 부분집합에서 훈련된 SGD는 오차가 10.96%로 악화됨을 보이며, Parle가 데이터 부족 상황에서도 성능를 보완할 수 있음을 시사한다.
• Parle는 다른 방법들인 Elastic-SGD나 Entropy-SGD와 달리 추가 하이퍼파ram터를 도입하지 않아도 최신 성능를 유지한다.
• 알고리즘은 하이퍼파ram터에 민감하지 않다: 모든 실험에서 동일한 설정(가중치 감쇠 $10^{-3}$, 드롭아웃 0.5, 데이터 증강)을 사용했으며, 이는 강건성을 확인한다.