[논문 리뷰] Accumulated Gradient Normalization

Joeri Hermans, Gerasimos Spanakis외 1명|arXiv (Cornell University)|2017. 10. 06.

Stochastic Gradient Optimization Techniques참고 문헌 2인용 수 6

한 줄 요약

이 논문은 비동기 데이터 병렬 학습에서의 수렴성과 안정성을 향상하기 위해 누적된 1차 미분 기울기를 정규화하는 분산 최적화기인 누적 기울기 정규화(AGN)를 제안한다. AGN은 파라미터 서버에 전송하기 전에 누적된 1차 기울기를 정규화함으로써 기울기 크기를 줄이고 업데이트 방향을 일치시켜, 파라미터의 오래됨과 암묵적 동력의 부정적 영향을 완화한다. 이로 인해 고도로 동시성과 통신 제약 조건 하에서도 EASGD 및 DYN-SGD와 같은 기준 모델보다 정확도와 시간 효율성 측면에서 뛰어난 성능을 발휘한다.

ABSTRACT

This work addresses the instability in asynchronous data parallel optimization. It does so by introducing a novel distributed optimizer which is able to efficiently optimize a centralized model under communication constraints. The optimizer achieves this by pushing a normalized sequence of first-order gradients to a parameter server. This implies that the magnitude of a worker delta is smaller compared to an accumulated gradient, and provides a better direction towards a minimum compared to first-order gradients, which in turn also forces possible implicit momentum fluctuations to be more aligned since we make the assumption that all workers contribute towards a single minima. As a result, our approach mitigates the parameter staleness problem more effectively since staleness in asynchrony induces (implicit) momentum, and achieves a better convergence rate compared to other optimizers such as asynchronous EASGD and DynSGD, which we show empirically.

연구 동기 및 목표

• 파라미터의 오래됨과 암묵적 동력으로 인한 비동기 데이터 병렬 최적화의 불안정성 문제를 해결하기 위해.
• 수렴성이나 안정성에 손상이 가지 않도록 워커와 파라미터 서버 간의 통신 빈도를 줄이기 위해.
• 고도로 동시성 있는 분산 학습 환경에서 수렴 속도와 최종 모델 정확도를 향상시키기 위해.
• 최종 정확도를 넘어서 안정성과 정확도에 도달하는 데 걸리는 시간을 고려한 최적화 성능 평가 지표인 시간 효율성(temproal efficiency)을 개발하기 위해.
• 비동기 환경에서 개별 1차 기울기보다 정규화된 누적 기울기가 더 나은 업데이트 방향을 제공함을 보여주기 위해.

제안 방법

• AGN은 누적 단계 동안 통신 없이 각 워커에서 국부적으로 1차 기울기의 시퀀스를 계산한다.
• 이 누적 기울기는 L2 노름으로 정규화되어 크기를 줄이고 방향성을 향상시킨다.
• 정규화된 누적 기울기는 파라미터 서버로 전송되어 오래되었거나 산산이 갈라진 업데이트의 영향을 줄인다.
• 이 방법은 모든 워커가 공통 최소값을 향해 기여함을 가정하며, 워커 간 암묵적 동력 효과를 일치시킨다.
• 파라미터 서버는 간단한 FIFO 큐를 사용하여 업데이트를 집계하여 표준 비동기 데이터 병렬 처리와 일관성을 유지한다.
• 시간 효율성은 최적화 성능을 비교하기 위해 시간에 따른 학습 지표 영역을 통합하는 지표로 도입된다.

실험 결과

연구 질문

• RQ1 누적 기울기를 정규화하는 것은 비동기 분산 학습에서 수렴성과 안정성에 어떤 영향을 미치는가?
• RQ2 누적 기울기 정규화는 고도의 동시성 환경에서 파라미터의 오래됨과 암묵적 동력의 부정적 영향을 줄일 수 있는가?
• RQ3 AGN은 최종 정확도, 수렴 속도, 시간 효율성 측면에서 EASGD 및 DYN-SGD와 비교해 어떻게 다른가?
• RQ4 정규화된 누적 기울기를 사용할 경우 워커 간 업데이트 방향이 더 잘 일치하는가?
• RQ5 AGN은 통신 빈도와 워커 수가 다양할 경우에도 성능을 유지할 수 있는가?

주요 결과

• AGN은 다양한 하이퍼파라미터 설정(워커 수와 통신 빈도)에서 실험 케이스의 69.73%에서 EASGD를 능가한다.
• AGN은 특히 고도의 동시성과 낮은 통신 빈도 조건에서 EASGD보다 높은 학습 및 검증 정확도를 달성한다.
• 40명의 워커와 λ=40 조건에서의 MNIST 실험에서 AGN는 257.62초 만에 97.88%의 테스트 정확도를 달성했으며, 속도와 정확도 양면에서 EASGD를 뛰어넘었다.
• 시간 효율성 지표는 AGN가 시간이 지남에 따라 더 나은 성능을 유지함을 보여주어 개선된 안정성과 수렴 역학을 시사한다.
• AGN는 고도의 오래됨 조건에서도 워커 간 기울기 방향을 일치시켜 암묵적 동력의 부정적 영향을 줄였다.
• 이 방법은 다양한 분산 하이퍼파라미터 구성에서 뛰어난 내구성을 유지하여 실세계 구현에 실용적인 이점을 가짐을 시사한다.