[논문 리뷰] Adaptive Sampling Distributed Stochastic Variance Reduced Gradient for Heterogeneous Distributed Datasets

Ilqar Ramazanli, Han Nguyen외 3명|arXiv (Cornell University)|2020. 02. 19.

Stochastic Gradient Optimization Techniques인용 수 5

한 줄 요약

이 논문은 이질적 데이터 환경에서 분산 스토하스틱 분산 감소 기울기 최적화를 위한 적응형 샘플링 전략인 ASD-SVRG를 제안한다. 과거 기울기로부터 추정한 국소 리프시츠 상수를 기반으로 더 높은 국소 리프시츠 상수를 가진 머신을 동적으로 우선순위에 올림으로써, 수렴 성능에 최대 기울기 리프시츠 상수에 대한 의존도를 감소시켜, 특히 큰 학습률에서 더 빠른 수렴과 향상된 안정성을 달성한다.

ABSTRACT

We study distributed optimization algorithms for minimizing the average of \\emph{heterogeneous} functions distributed across several machines with a focus on communication efficiency. In such settings, naively using the classical stochastic gradient descent (SGD) or its variants (e.g., SVRG) with a uniform sampling of machines typically yields poor performance. It often leads to the dependence of convergence rate on maximum Lipschitz constant of gradients across the devices. In this paper, we propose a novel \\emph{adaptive} sampling of machines specially catered to these settings. Our method relies on an adaptive estimate of local Lipschitz constants base on the information of past gradients. We show that the new way improves the dependence of convergence rate from maximum Lipschitz constant to \\emph{average} Lipschitz constant across machines, thereby, significantly accelerating the convergence. Our experiments demonstrate that our method indeed speeds up the convergence of the standard SVRG algorithm in heterogeneous environments.

연구 동기 및 목표

• 기계 간 데이터 분포가 크게 다를 때 표준 SVRG와 SGD의 열악한 수렴 성능을 해결한다.
• 비i.i.d. 환경에서 성능을 지배하는 최대 국소 리프시츠 상수에 대한 수렴 속도 의존도를 줄인다.
• 리프시츠 상수의 사전 지식이 필요 없이 국소 기울기 변동성에 기반해 워커를 선택하는 적응형 샘플링 전략을 개발한다.
• 탈중앙화 또는 페더레이티드 러닝 유사 환경에서 큰 학습률 조건에서도 통신 효율성과 최적화 안정성을 향상시킨다.

제안 방법

• 역사적 기울기 정보로부터 유도된 추정된 국소 리프시츠 상수를 기반으로 워커에 샘플링 확률을 할당하는 적응형 샘플링 메커니즘을 제안한다.
• 사전 계산된 또는 정확한 리프시츠 값이 필요 없는 강력한 국소 리프시츠 추정 기법을 도입하여 실세계 환경에서의 실용적 구현을 가능하게 한다.
• 각 워커가 자신의 가중치만 알고 있으면 되는 최소한의 통신 오버헤드로 효율적인 가중치 샘플링을 가능하게 하는 병렬 통신 프로토콜을 설계한다.
• 적응형 샘플링을 SVRG 프레임워크에 통합하여, 균일한 워커 선택을 가중치 기반의 우선순위 기반 선택으로 대체한다.
• 관측된 데이터로부터 노이즈가 있는 범주형 분포를 정확하게 추정하기 위해 통계적 분해 방법을 사용하여 샘플링을 위한 정확한 가중치 할당을 가능하게 한다.
• PyTorch에 구현하여 볼록(선형/로지스틱 회귀) 및 비볼록 아키텍처 모두를 지원함으로써 광범위한 적용 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 국소 기울기 성질에 기반한 적응형 샘플링이 이질적 분산 데이터 세트에서 SVRG의 수렴 속도를 향상시킬 수 있는가?
• RQ2 균일한 샘플링을 적응형 샘플링으로 대체함으로써 수렴 속도가 최대 국소 리프시츠 상수에 대한 의존도를 줄일 수 있는가?
• RQ3 제안된 적응형 방법은 표준 SVRG에 비해 큰 학습률 조건에서 어떻게 성능을 발휘하는가?
• RQ4 분산 시스템에서 최소한의 통신 오버헤드로 적응형 샘플링 전략을 효율적으로 구현할 수 있는가?
• RQ5 최적화 가속화와 함께 일반화 성능을 유지하거나 향상시키는가?

주요 결과

• ASD-SVRG는 선형 회귀 및 로지스틱 회귀 작업 모두에서 표준 SVRG보다 수렴 속도가 빠르며, 특히 초기 반복 단계에서 가장 빠른 수렴이 관찰된다.
• 로지스틱 회귀에서 ASD-SVRG는 테스트 정확도 86%를 달성하여 SVRG의 83%를 초월하며, 유사한 테스트 손실을 유지함으로써 더 나은 일반화 성능을 보였다.
• ASD-SVRG는 SVRG가 발산하는 조건보다 33배 큰 학습률 조건에서도 안정적인 학습을 유지한다.
• 제거 분석 결과, ASD-SVRG는 SVRG의 최적 학습률에 가까운 모든 학습률 설정에서 SVRG를 능가함을 확인하였다.
• ASD-SVRG의 수렴 속도는 최대가 아닌 평균 리프시츠 상수에 의존하므로, 이질적 환경에서 이론적·실증적 성능이 향상된다.
• 제안된 통신 방법은 최소한의 통신 비용으로 효율적인 가중치 샘플링을 가능하게 하여, 대규모 분산 시스템에서의 실용적 구현을 지원한다.