[논문 리뷰] Gossip training for deep learning

Michaël Blot, David Picard외 2명|arXiv (Cornell University)|2016. 11. 29.

Stochastic Gradient Optimization Techniques참고 문헌 13인용 수 37

한 줄 요약

이 논문은 딥러닝을 위한 완전히 비동기적이고 탈중앙화된 게이시 기반 학습 방법인 GoSGD를 제안한다. 이 방법은 워커 간 피어 투 피어 무게 평균화를 통해 확률적 경사 하강법(SGD)의 수렴 속도를 가속화한다. CIFAR-10에서의 실험 결과, GoSGD는 약 4시간 만에 EASGD의 7시간 이상이 소요되는 동안보다 낮은 훈련 손실을 달성하여, 최소한의 통신 오버헤드로도 뛰어난 효율성과 빠른 공감속도를 입증한다.

ABSTRACT

We address the issue of speeding up the training of convolutional networks. Here we study a distributed method adapted to stochastic gradient descent (SGD). The parallel optimization setup uses several threads, each applying individual gradient descents on a local variable. We propose a new way to share information between different threads inspired by gossip algorithms and showing good consensus convergence properties. Our method called GoSGD has the advantage to be fully asynchronous and decentralized. We compared our method to the recent EASGD in \cite{elastic} on CIFAR-10 show encouraging results.

연구 동기 및 목표

• 크기 있는 파rameter를 가진 딥 컨volution 네트워크(CNNs)의 느린 훈련을 해결하기 위해.
• 중앙 집중식 파rameter 서버를 제거함으로써 분산 SGD에서의 동기화 병목 현상을 줄이기 위해.
• 게이시 스타일의 피어 투 피어 통신을 통해 분산 워커 간의 공감을 향상시키기 위해.
• 최소한의 통신 오버헤드로 모델 정확도를 유지하면서 더 빠른 수렴을 가능하게 하기 위해.
• 실증적 비교를 통해 게이시 기반 평균화의 효과성을 검증하기 위해.

제안 방법

• GoSGD는 M개의 독립된 워커를 사용하며, 각 워커는 CNN 가중치 $x_i$의 로컬 복제본과 초기값이 $1/M$인 혼합 가중치 $\alpha_i$를 유지한다.
• 각 워커는 학습률 $\eta^t$를 사용하여 미니배치 기반 기울기 $v_i^t$를 이용해 로컬 SGD 업데이트를 수행한다.
• 확률 $p$로 각 워커는 무작위로 피어를 선택하고, 합산-가중 게이시 업데이트를 수행하여 가중치를 혼합하고 혼합 가중치를 갱신한다.
• 쌍별 교환을 통해 평균 $\overline{x}^t = \frac{1}{M}\sum x_i^t$로의 지수 수렴이 유지된다.
• 최종 테스트 모델은 모든 워커 가중치의 평균이며, 이는 공감 덕분에 기울기 근사가 향상되어 최적화 안정성이 향상된다.
• 이 방법은 완전히 비동기적이고 탈중앙화되어 있어 동기화나 중앙 집중적 조율가 필요 없다.

실험 결과

연구 질문

• RQ1 게이시 기반 통신은 딥러닝을 위한 분산 SGD에서 수렴 속도를 향상시킬 수 있는가?
• RQ2 CIFAR-10에서 GoSGD는 EASGD와 비교해 훈련 시간과 손실 수렴 측면에서 어떻게 다른가?
• RQ3 게이시 교환 확률 $p$는 공감과 훈련 효율성에 어떤 영향을 미치는가?
• RQ4 탈중앙화되고 비동기적인 훈련은 통신 및 동기화 오버헤드를 줄이면서도 모델 정확도를 유지할 수 있는가?
• RQ5 피어 투 피어 무게 평균화는 중앙 집중식 파rameter 서버보다 더 나은 기울기 근사 결과를 낼 수 있는가?

주요 결과

• GoSGD는 동일한 수의 이미지 처리 후 EASGD보다 낮은 훈련 손실을 기록하여 더 빠른 수렴을 나타낸다.
• 확률 $p = 1$일 경우, GoSGD는 손실 감소 측면에서 EASGD를 능가하여 더 뛰어난 공감과 정보 공유 능력을 보였다.
• 확률 $p = 0.02$일 경우, GoSGD는 약 4시간 만에 동일한 훈련 손실에 도달했고, EASGD는 7시간 이상 소요되었다.
• 낮은 빈도의 게이시 교환($p = 0.01$)조차도 강력한 공감을 보장하여 통신 비용을 줄이면서 성능을 손상시키지 않았다.
• GoSGD의 탈중앙화 및 비동기 설계 덕분에 유휴 시간이 제거되어 GPU 자원의 더 빠른 활용이 가능했다.
• 워커 모델의 평균화로 인해 공감 덕분에 기울기 근사가 향상되어 최적화 안정성이 향상된 최종 테스트 모델이 도출되었다.