[논문 리뷰] Variance Reduction in SGD by Distributed Importance Sampling

Guillaume Alain, Alex Lamb외 3명|arXiv (Cornell University)|2015. 11. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 13인용 수 87

한 줄 요약

이 논문은 중요도 샘플링을 사용하여 가장 정보가 풍부한 학습 예제를 우선순위에 두어 기울기 분산을 줄이는 분산 확률적 경사하강법(SGD)을 제안한다. 여러 기계에 분산된 워커들이 기울기 노름을 동시에 계산하고, 중심화된 파rameter 서버는 이러한 노름을 기반으로 기울기 분산을 최소화하기 위해 샘플을 선택한다. 이로 인해 오래된 중요도 가중치가 존재하더라도 수렴 속도가 빨라진다.

ABSTRACT

Humans are able to accelerate their learning by selecting training materials that are the most informative and at the appropriate level of difficulty. We propose a framework for distributing deep learning in which one set of workers search for the most informative examples in parallel while a single worker updates the model on examples selected by importance sampling. This leads the model to update using an unbiased estimate of the gradient which also has minimum variance when the sampling proposal is proportional to the L2-norm of the gradient. We show experimentally that this method reduces gradient variance even in a context where the cost of synchronization across machines cannot be ignored, and where the factors for importance sampling are not updated instantly across the training set.

연구 동기 및 목표

• 비동기 SGD 환경에서 특히 높은 통신 비용과 기울기 분산 문제를 해결한다.
• 빈번한 동기화와 대역폭을 많이 소비하는 기울기 전송에 의존도를 줄이고 정보가 풍부한 예제에 집중한다.
• 최적의 제안 분포를 사용한 중요도 샘플링을 통해 기울기 분산을 최소화하는 이론적으로 탄탄한 방법을 개발한다.
• 기울기 노름 계산을 분산하면서도 수렴 보장을 유지함으로써 효율적이고 확장 가능한 학습을 가능하게 한다.
• 이 기법을 비동기 SGD와 같은 기존 기법과 조합하여 성능 향상을 도모할 수 있는지 탐색한다.

제안 방법

• 다중 워커를 통해 각 예제의 기울기 노름 계산을 분산 처리하여 가장 정보가 풍부한 학습 샘플을 식별한다.
• 중앙 집중식 파rameter 서버가 개별 기울기의 L2-노름을 기반으로 중요도 샘플링을 수행하고, 노름이 높은 샘플을 선택한다.
• 기울기 추정치의 분산을 최소화하기 위해 기울기 L2-노름에 비례하는 제안 분포를 사용한 중요도 샘플링을 적용한다.
• 지연된 동기화로 인한 오래된 기울기 노름을 사용할 수 있도록 하되, 여전히 편향 없고 분산이 낮은 업데이트를 유지한다.
• 완전한 기울기 대신 각 예제당 하나의 부동소수점 값(중요도 가중치)만 전달하여 통신 오버헤드를 줄인다.
• 특히 오래된 값이 존재할 경우에 안정성을 확보하기 위해 덧셈 스무딩을 사용한다.

실험 결과

연구 질문

• RQ1 중요도 가중치가 오래된 모델 파rameter에서 계산되더라도 기울기 노름 기반 중요도 샘플링이 분산된 SGD에서 학습 분산을 줄일 수 있는가?
• RQ2 제안된 방법은 표준 비동기 SGD에 비해 수렴 속도와 일반화 성능 측면에서 어떻게 비교되는가?
• RQ3 중요도 샘플링을 통한 통신 비용 절감이 분산 딥 러닝에서 학습 효율성 향상에 얼마나 기여하는가?
• RQ4 기울기 노름의 오래됨이 중요도 샘플링 기법의 성능 및 안정성에 어떤 영향을 미치는가?
• RQ5 이 방법은 비동기 SGD와 같은 기존 분산 학습 프레임워크와 효과적으로 조합될 수 있는가?

주요 결과

• 중요도 가중치가 오래된 모델 파rameter에서 계산되더라도 제안된 방법이 기울기 분산을 크게 줄인다.
• 순열 불변성 SVHN 데이터셋에서의 실험 결과, 표준 SGD에 비해 더 빠른 수렴과 낮은 학습 손실을 기록하며, 통신 지연 상황에서도 분산 감소가 관찰된다.
• 공분산 행렬의 추적의 제곱근(기울기 분산의 대체 지표)은 중요도 샘플링 하에서 일관되게 낮아지며, 특히 작은 학습률과 적절한 스무딩을 사용할 경우 더욱 두드러진다.
• 덧셈 스무딩(+1.0)을 사용한 작은 학습률이 더 큰 스무딩(+10.0)을 사용한 높은 학습률보다 더 나은 분산 감소 효과를 보이며, 하이퍼파ram터 튜닝에 민감함을 시사한다.
• 완전한 기울기 대신 중요도 가중치(예제당 하나의 부동소수점 값)만 전송함으로써 통신 비용을 크게 줄여 네트워크 트래픽을 수개월 단위로 감소시킨다.
• 지연된 업데이트 상황에서도 이 방법은 효과를 유지하며, 분산 환경에서의 오래됨에 대한 강건성을 보이며, 다만 확률 가중치의 적절한 스무딩이 성능에 영향을 미친다.