[논문 리뷰] Revisiting Distributed Synchronous SGD

Pan, Xinghao, Jianmin Chen외 3명|arXiv (Cornell University)|2017. 02. 19.

Distributed and Parallel Computing Systems참고 문헌 27인용 수 609

한 줄 요약

논문은 동기식 SGD가 비현실적이라는 관점을 반박하고 백업 워커를 활용한 동기식 최적화가 비동기 잡음과 지연 요인을 피하고 지연자(stragglers)의 영향을 완화해 더 빠른 수렴과 더 나은 테스트 정확도를 얻는다는 것을 보여준다.

ABSTRACT

Distributed training of deep learning models on large-scale training data is typically conducted with asynchronous stochastic optimization to maximize the rate of updates, at the cost of additional noise introduced from asynchrony. In contrast, the synchronous approach is often thought to be impractical due to idle time wasted on waiting for straggling workers. We revisit these conventional beliefs in this paper, and examine the weaknesses of both approaches. We demonstrate that a third approach, synchronous optimization with backup workers, can avoid asynchronous noise while mitigating for the worst stragglers. Our approach is empirically validated and shown to converge faster and to better test accuracies.

연구 동기 및 목표

• 동점된 분산 학습에서 synchronous SGD의 실용성을 재평가한다.
• 비동기 및 동기식 접근의 약점을 식별한다.
• Idle time 및 지연의 영향을 줄이기 위한 백업 워커 동기식 최적화 접근법을 제안한다.
• 제안된 방법의 수렴 속도와 테스트 정확도 향상을 실증적으로 보여준다.

제안 방법

• Pure asynchronous 및 standard synchronous 체계의 대안으로 백업 워커를 갖춘 동기식 최적화를 도입한다.
• 백업 워커가 idle time을 줄이고 지연자를 완화하는 방식이 과도한 잡음을 유발하지 않는지 분석한다.
• 더 빠른 수렴과 향상된 테스트 정확도를 보이는 실증적 검증을 제공한다.

실험 결과

연구 질문

• RQ1 Backup 워커를 사용하여 분산 환경에서 동기식 SGD를 실용화할 수 있는가?
• RQ2 백업-워커 동기식 최적화가 수렴성 및 테스트 정확도 측면에서 비동기 SGD와 어떻게 비교되는가?
• RQ3 이들 스킴에서 idle time, 지연, 및 최적화 잡음 간의 trade-off는 무엇인가?
• RQ4 제안한 방법이 대표적인 딥러닝 학습 시나리오에서 더 빠르게 수렴하는가?

주요 결과

• 동기식 최적화가 비동기 잡음을 피할 수 있다.
• backup-wroker 접근법이 지연자의 영향을 완화한다.
• 현실 세계에서 방법이 더 빠르게 수렴한다.
• 실증적 검증에서 더 나은 테스트 정확도를 보인다.