[논문 리뷰] Parallel SGD: When does averaging help?

Jian Zhang, Christopher De외 2명|arXiv (Cornell University)|2016. 06. 23.

Stochastic Gradient Optimization Techniques참고 문헌 2인용 수 78

한 줄 요약

이 논문은 병렬 확률적 경사 하강법(SGD)에서 주기적인 모델 평균화를 조사하며, 기울기 분산이 최적점에서 멀리 떨어져 있을 때 높은 경우에 빈번한 평균화가 분산을 감소시키고 수렴 속도를 높임을 보여준다. 볼록 문제에서는 이와 같은 효과를 얻을 수 있으며, 비볼록 설정에서는 발산하는 국소 최소값을 조기에 평균화하는 것을 방지함으로써 열악한 해를 피할 수 있다. 최적의 평균화 빈도는 기울기 분산의 윤곽과 곡률에 따라 달라지며, 이는 MNIST 및 E2006을 포함한 합성 및 실질 데이터셋을 통해 실험적으로 검증되었다.

ABSTRACT

Consider a number of workers running SGD independently on the same pool of data and averaging the models every once in a while -- a common but not well understood practice. We study model averaging as a variance-reducing mechanism and describe two ways in which the frequency of averaging affects convergence. For convex objectives, we show the benefit of frequent averaging depends on the gradient variance envelope. For non-convex objectives, we illustrate that this benefit depends on the presence of multiple globally optimal points. We complement our findings with multicore experiments on both synthetic and real data.

연구 동기 및 목표

• 주기적 모델 평균화가 병렬 SGD에서 수렴을 향상시키는 조건을 이해한다.
• 정기적으로 여러 병렬 SGD 워커의 모델을 평균화하는 이른바 널리 쓰이는 관행에 대한 이론적 이해 부족을 해결한다.
• 특히 비볼凸 설정에서 더 자주 평균화할수록 항상 더 빠른 수렴이 이루어지는지 조사한다.
• 주기적 평균화의 경험적 이점을 설명하기 위해 기울기 분산 모델을 개발하며, 특히 분산 윤곽과 곡률 측면에서 설명한다.
• 실제 및 합성 데이터를 이용한 다코어 실험을 통해 이론적 통찰을 검증하며, 이는 로지스틱 회귀 및 MNIST의 CNN을 포함한다.

제안 방법

• 기울기 분산의 윤곽과 곡률을 정의하는 새로운 기울기 분산 모델을 제안하며, 이는 β² / σ² = ρ로 매개변수화되며, β²는 곡률을, σ²는 최적점에서의 분산을 나타낸다.
• 볼凸 목적함수를 분석하여 워커가 평균 모델에서 벗어나지 않는 범위를 유도하며, 최적점에서 멀리 떨어져 있을 때 분산이 높을 경우 빈번한 평균화가 노이즈 볼 크기를 줄임을 보여준다.
• 비볼凸 문제를 모델링하여, 한 번의 평균화가 서로 다른 국소 최소값에서 온 모델을 조합할 수 있으며 이는 더 열 劣한 해를 낳을 수 있음을 보이고, 반면 주기적 평균화는 워커들이 같은 기울기의 곡선에 머물게 한다.
• M명의 워커를 가진 다코어 시스템에서 주기적 평균화를 구현하며, 각 단계는 K단계의 계산 후 모델을 평균화한다.
• 최적점에서 랜덤한 선을 따라 기울기 분산 측정값을 이용해 β²와 σ²를 추정하기 위해 선 탐색 방법을 사용하며, 이를 통해 ρ의 경험적 추정치를 도출한다.
• 로지스틱 회귀 및 MNIST의 CNN을 포함한 다양한 데이터셋과 모델에서, 한 번의 평균화, 주기적 평균화(128단계 및 1024단계 간격), 단일 워커 SGD를 비교한다.

실험 결과

연구 질문

• RQ1 볼凸 병렬 SGD에서 주기적 평균화가 한 번의 평균화에 비해 수렴을 향상시키는 조건은 무엇인가?
• RQ2 기울기 분산 윤곽이 볼凸 최적화에서 주기적 평균화의 효과성에 어떻게 영향을 미치는가?
• RQ3 왜 비볼凸 설정에서 한 번의 평균화가 자주 실패하며, 주기적 평균화가 이 문제를 어떻게 완화하는가?
• RQ4 목적함수의 곡률(β²로 캡처됨)이 자주 평균화하는 데서 얻는 이점에 얼마나 영향을 미치는가?
• RQ5 ρ = β² / σ² 기반의 이론적 모델이 다양한 데이터셋과 모델에서 주기적 평균화의 경험적 성능 향상 정도를 예측할 수 있는가?

주요 결과

• 볼凸 문제에서는 최적점에서 멀리 떨어져 있을 때 기울기 분산이 더 높을 경우, 더 큰 ρ = β² / σ² 값을 기록함에 따라 주기적 평균화가 더 빠른 수렴을 이끈다.
• 희박한 E2006 데이터셋에서의 로지스틱 회귀에서는 주기적 평균화(128단계 간격)가 한 번의 평균화를 능가하며, 더 높은 ρ 값과 관련된 명백한 속도 향상이 관찰된다.
• 밀도가 높은 YearPrediction 데이터에서는 ρ 값이 작기 때문에 주기적 평균화와 한 번의 평균화 간 성능 격차가 미미하며, 이는 모델의 예측을 확인한다.
• 비볼凸 설정에서는 한 번의 평균화가 단일 워커 결과보다 성능을 떨어뜨리며, 종종 가장 열 劣한 개별 워커보다도 더 나쁜 훈련 손실과 테스트 오차를 기록한다.
• MNIST에 대한 CNN에서 주기적 평균화(128단계 간격)는 수렴과 일반화 성능을 향상시켜, 한 번의 평균화와 가장 좋은 단일 워커를 모두 능가한다.
• 경험적 결과는 이론적 모델을 지지한다: 주기적 평균화의 속도 향상은 다양한 데이터셋과 모델에서 측정된 ρ 값과 강하게 상관된다.