[논문 리뷰] Stochastic Optimization with Importance Sampling

Peilin Zhao, Tong Zhang|arXiv (Cornell University)|2014. 01. 13.

Stochastic Gradient Optimization Techniques참고 문헌 25인용 수 66

한 줄 요약

이 논문은 확률적 프락시미테이션 경사수하법(prox-SGD)과 확률적 프락시미테이션 이중좌표상승법(prox-SDCA)에 대한 중요도 샘플링 전략을 제안하여 확률적 경사하강의 분산을 줄이고 수렴 속도를 가속화한다. 경사하강의 노름 또는 부드러움 파라미터에 따라 데이터 포인트를 샘플링함으로써, 균일 샘플링에 비해 유의미하게 빠른 수렴 속도를 달성하며, 이는 이론적 보장과 다양한 데이터셋에서의 실험적 검증을 통해 입증된다.

ABSTRACT

Uniform sampling of training data has been commonly used in traditional stochastic optimization algorithms such as Proximal Stochastic Gradient Descent (prox-SGD) and Proximal Stochastic Dual Coordinate Ascent (prox-SDCA). Although uniform sampling can guarantee that the sampled stochastic quantity is an unbiased estimate of the corresponding true quantity, the resulting estimator may have a rather high variance, which negatively affects the convergence of the underlying optimization procedure. In this paper we study stochastic optimization with importance sampling, which improves the convergence rate by reducing the stochastic variance. Specifically, we study prox-SGD (actually, stochastic mirror descent) with importance sampling and prox-SDCA with importance sampling. For prox-SGD, instead of adopting uniform sampling throughout the training process, the proposed algorithm employs importance sampling to minimize the variance of the stochastic gradient. For prox-SDCA, the proposed importance sampling scheme aims to achieve higher expected dual value at each dual coordinate ascent step. We provide extensive theoretical analysis to show that the convergence rates with the proposed importance sampling methods can be significantly improved under suitable conditions both for prox-SGD and for prox-SDCA. Experiments are provided to verify the theoretical analysis.

연구 동기 및 목표

• 스토하스틱 최적화에서 균일 샘플링으로 인한 스토하스틱 경사하강 추정기의 높은 분산 문제를 해결하기 위해.
• 비균일 샘플링을 통해 prox-SGD와 prox-SDCA의 수렴 속도를 향상시키기 위해 분산을 최소화하기 위해.
• 두 알고리즘 모두에 대해 경사하강의 노름과 부드러움 파라미터를 기반으로 최적의 샘플링 분포를 유도하기 위해.
• 적절한 조건 하에서 이론적으로 수렴 속도 향상을 보장하며, 기존 결과를 일반화하기 위해.
• 실세계 데이터셋에서 제안된 방법을 실험적으로 검증하여 더 빠른 이중성 갭 감소와 안정된 성능을 확인하기 위해.

제안 방법

• prox-SGD의 경우, 샘플링 확률이 스토하스틱 경사하강의 노름에 비례하도록 중요도 샘플링을 사용하여 경사하강 추정기의 분산을 최소화한다.
• 수렴 보장을 유지하기 위해 이러한 비균일 샘플링 확률을 기반으로 편향이 없는 중요도 가중 경사하강 추정기를 구성한다.
• prox-SDCA의 경우, 손실 함수의 부드러움 상수에 따라 각 반복에서 이중 목표 함수의 기대 증가량을 최대화하는 샘플링 분포를 유도한다.
• 이론적 분석을 통해 최적의 샘플링 분포가 prox-SGD의 경우 경사하강의 노름에, prox-SDCA의 경우 손실 함수의 부드러움에 의존함을 보여준다.
• 계산을 단순화하면서도 분산 감소 효과를 유지하기 위해 경사하강 노름의 상한을 사용한다.
• 이 프레임워크는 프락시미테이션 스토하스틱 미러 내림법으로 일반화되며, 표준 균일 샘플링을 특수 케이스로 포함한다.

실험 결과

연구 질문

• RQ1 중요도 샘플링은 균일 샘플링을 초월하여 prox-SGD에서 스토하스틱 경사하강의 분산을 줄일 수 있는가?
• RQ2 경사하강 분산을 최소화하는 데 최적의 샘플링 분포는 무엇인가?
• RQ3 중요도 샘플링은 어떻게 prox-SDCA에 적응시켜 각 반복에서 이중 목표 함수 향상도를 극대화할 수 있는가?
• RQ4 중요도 샘플링을 통해 균일 샘플링에 비해 이론적으로 어떤 수렴 속도 향상이 달성될 수 있는가?
• RQ5 제안된 방법은 수렴 속도를 가속화하면서도 테스트 정확도를 유지하거나 향상시키는가?

주요 결과

• 제안된 prox-SGD에 대한 중요도 샘플링 전략은 경사하강의 노름에 비례하는 확률로 데이터 포인트를 샘플링함으로써 더 낮은 분산의 경사하강 추정기를 달성한다.
• prox-SDCA의 경우 최적의 샘플링 분포는 손실 함수의 부드러움 상수에 따라 달라지며, 이는 더 빠른 이중 목표 함수 향상으로 이어진다.
• 이론적 분석을 통해 적절한 조건 하에서 수렴 속도가 유의미하게 향상되었으며, 새로운 방법은 기존 균일 샘플링 결과를 일반화한다.
• ijcnn1, kdd2010, w8a 등의 데이터셋에서의 실험 결과, Iprox-SDCA는 표준 SDCA에 비해 이중성 갭 감소 측면에서 더 빠른 수렴을 보였다.
• Iprox-SDCA의 테스트 오차율은 표준 SDCA와 유사하여, 더 빠른 수렴에도 불구하고 일반화 성능이 떨어지지 않음을 시사한다.
• Iprox-SDCA에서는 스토하스틱 경사하강의 분산이 약간 감소했지만, SDCA 자체가 이미 높은 수준의 분산 감소를 제공하므로 향상 폭은 크지 않다.