[논문 리뷰] Mini-batch stochastic gradient descent with dynamic sample sizes

Michael R. Metel|arXiv (Cornell University)|2017. 08. 02.

Stochastic Gradient Optimization Techniques참고 문헌 9인용 수 5

한 줄 요약

이 논문은 확률적으로 내림방향을 보장하는 동적 미니배치 샘플 크기 규칙을 제안하며, 기울기 추정 불확실성에 기반해 각 차원별로 배치 크기를 적응적으로 조정함으로써 확률적 경사하강법(SGD)의 수렴성을 향상시킨다. 이 방법은 표본 공분산에서 유도된 신뢰구간을 사용하여 불필요한 계산을 최소화하면서도 수렴성을 향상시키며, 고정된 배치 크기의 SGD보다 두 가지 실제 최적화 문제에서 뛰어난 성능을 보인다.

ABSTRACT

We focus on solving constrained convex optimization problems using mini-batch stochastic gradient descent. Dynamic sample size rules are presented which ensure a descent direction with high probability. Empirical results from two applications show superior convergence compared to fixed sample implementations.

연구 동기 및 목표

• 대규모 볼록 최적화를 위한 미니배치 SGD에서 계산 비용과 기울기 추정 정확도 사이의 상충 관계를 해결하기 위해.
• 사용된 샘플 수를 최소화하면서도 높은 확률로 내림방향을 보장하는 샘플 크기 규칙을 개발하기 위해.
• 기울기 불확실성에 기반해 동적으로 배치 크기를 조정하여 실무에서 수렴 속도를 향상시키기 위해.
• 과도한 계산 없이 분산을 줄이는 실용적인 고정 배치 크기 SGD의 대체 방법을 제공하기 위해.

제안 방법

• 방법은 크기가 $ N^i $ 인 미니배치를 사용하여 기울기 추정값 $ \hat{g}(x^i) $ 와 표본 공분산 행렬 $ \hat{\Sigma}(x^i) $ 를 계산한다.
• 각 차원 $ k $ 에 대해 진짜 기울기 $ g(x^i)_k $ 가 양수(또는 음수)일 확률은 표준 정규 누적분포함수를 사용해 추정된다: $ \Phi\left( \frac{|\hat{g}(x^i)_k|}{\sqrt{\hat{\Sigma}(x^i)_{kk}}} \right) $.
• 목표 내림방향 확률 $ 1 - \alpha $ 를 달성하기 위해 각 차원별 샘플 크기 규칙을 유도하며, 다음 식으로 주어진다: $ N_k^{i+1} = \left\lceil N_k^i \cdot \frac{\hat{\Sigma}(x^i)_{kk} \cdot (\Phi^{-1}(1 - \alpha))^2}{\hat{g}(x^i)^2_k} \right\rceil $.
• 모든 차원에 동일한 원리 적용을 위한 단일 샘플 크기 규칙도 제안되며, 최대 기울기 크기와 평균 공분산을 사용한다.
• 알고리즘은 이 동적 배치 크기를 SGD 업데이트에 적용한다: $ x^{i+1} = \pi\left( x^i - \frac{\eta^i}{N^i} \sum_{j=1}^{N^i} \nabla F(x^i, y_j^i) \right) $.
• 이 방법은 기울기 추정의 渐近 정규성을 가정하며, t-분포 근사를 사용하지만, 계산 가능성을 위해 나중에 정규분포로 단순화한다.

실험 결과

연구 질문

• RQ1 동적 샘플 크기 선택이 내림방향을 높은 확률로 보장하면서도 미니배치 SGD의 수렴을 향상시킬 수 있는가?
• RQ2 내림방향을 확신 수준 $ 1 - \alpha $ 로 보장하기 위해 각 차원에서 필요한 최소 샘플 수는 얼마인가?
• RQ3 고정된 배치 크기 SGD와 비교할 때, 각 차원별 적응 샘플링은 수렴 속도와 안정성 측면에서 어떻게 다른가?
• RQ4 실제 응용에서 최적화 성능을 훼손하지 않으면서도 계산 비용을 줄일 수 있는가?

주요 결과

• 각 차원별 기울기 불확실성에 기반한 동적 샘플 크기 규칙은 고정된 배치 크기 SGD(32, 256, 512)보다 수렴 속도를 크게 향상시킨다.
• 신문판매자 문제에서는 기본 SGD와 Adam 최적화 모두에서 각 차원별 규칙이 고정된 배치 크기 방법보다 더 빠른 수렴을 달성했다.
• 옵션 포트폴리오 문제에서는 동적 접근이 시간에 따라 기대 효용 측면에서 고정된 배치 크기 구현보다 뛰어난 성능을 보였다.
• 두 테스트 응용 모두에서 각 차원별 업데이트 규칙이 단일 샘플 크기 규칙보다 뚜렷이 우수했다.
• 내림방향을 보장하기 위해 필요한 경우에만 배치 크기를 조정함으로써 최소한의 계산 오버헤드로도 뛰어난 수렴이 관찰되었다.
• 실험 결과는 이 방법이 여전히 높은 내림방향 확률을 유지하면서도 불필요한 샘플링을 최소화함을 확인했다.