[논문 리뷰] Stochastic Optimization with Variance Reduction for Infinite Datasets with Finite-Sum Structure

Alberto Bietti, Julien Mairal|arXiv (Cornell University)|2016. 10. 04.

Neural Networks and Applications인용 수 14

한 줄 요약

이 논문은 데이터 편향(예: 데이터 증강)으로 인해 유한합 구조를 가진 무한 데이터셋 환경에서의 확률적 최적화를 위한 분산 감소 알고리즘인 S-MISO를 제안한다. 확률적 그래디언트를 다룰 때도 유한합 구조를 활용함으로써, 샘플링에 의한 분산이 아닌 편향에 의해 유도되는 그래디언트 분산에만 의존하는, SGD보다 더 작은 상수 요소를 가진 선형 수렴을 달성한다.

ABSTRACT

Stochastic optimization algorithms with variance reduction have proven successful for minimizing large finite sums of functions. Unfortunately, these techniques are unable to deal with stochastic perturbations of input data, induced for example by data augmentation. In such cases, the objective is no longer a finite sum, and the main candidate for optimization is the stochastic gradient descent method (SGD). In this paper, we introduce a variance reduction approach for these settings when the objective is composite and strongly convex. The convergence rate outperforms SGD with a typically much smaller constant factor, which depends on the variance of gradient estimates only due to perturbations on a single example.

연구 동기 및 목표

• 확률적 데이터 편향으로 인해 유한합 구조를 가진 무한 데이터셋을 다루는 머신러닝 최적화 문제에 대해 기존의 방법들이 부족한 점을 보완하기 위해.
• 기존의 분산 감소 방법은 유한합 그래디언트의 정확한 평가를 필요로 하며, 편향으로 인해 그래디언트가 확률적일 경우 실패한다는 한계를 극복하기 위해.
• 유한합에 대해 빠른 수렴을 보이는 분산 감소의 특성을 유지하면서도, 데이터 증강이나 노이즈로 인한 확률적 그래디언트와도 호환 가능한 알고리즘을 개발하기 위해.
• 데이터 포인트 간 샘플링 분산에 의존하지 않고, 오직 편향에 의해 유도되는 그래디언트 분산에만 의존함으로써 SGD보다 더 빠른 수렴을 달성하기 위해.
• 유한합에 대한 증분 방법과 무한 데이터셋에 대한 확률적 근사 방법 사이의 격차를 메우며, 하이브리드 환경에서 효율적인 최적화를 가능하게 하기 위해.

제안 방법

• 확률적 편향이 존재하는 유한합 구조를 가진 복합적이고 강凸된 목표 함수를 대상으로 하는 S-MISO를 제안하며, MISO 알고리즘의 확률적 변종이다.
• 각 데이터 포인트의 그래디언트를 $ f_i(x) = \mathbb{E}_\rho[\tilde{f}_i(x, \rho)] $ 형식으로 접근할 수 있는 1차 순서 오라클을 사용하며, 여기서 $ \rho $ 는 무작위적 편향을 나타낸다.
• 각 데이터 포인트에 대해 과거 그래디언트의 이동 평균을 유지하여 분산을 감소시키며, SAGA 방식의 분산 감소 기법을 확률적 환경에 적응시킨다.
• 강凸성과 리프시츠 스무스니스 가정 하에 수렴을 보장하는 스텝 사이즈 $ \eta_t $ 를 사용한 프록시멀 업데이트 규칙을 적용한다.
• 최적해와의 기대 제곱 거리에 대한 재귀적 경계를 유도한다: $ \mathbb{E}[\|x_t - x^*\|^2] \leq (1 - \mu \eta_t) \mathbb{E}[\|x_{t-1} - x^*\|^2] + \eta_t^2 \sigma_{\text{tot}}^2 $, 여기서 $ \sigma_{\text{tot}}^2 $ 는 편향에 의해 유도되는 그래디언트 노이즈를 캡처한다.
• 비균일 샘플링과 평균화 기법으로의 확장을 통해, 불량조건 문제에서의 수렴 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 유한합 구조가 확률적 데이터 변환에 의해 훼손되는 최적화 문제에 대해 분산 감소 기법을 어떻게 적응시킬 수 있는가?
• RQ2 유한합의 빠른 수렴 특성과 확률적 그래디언트 방법의 강건성 특성을 결합한 방법이 존재하는가?
• RQ3 이러한 방법의 수렴 속도는 무엇이며, 그래디언트 분산에 대한 의존성 측면에서 SGD와 비교해 볼 때 어떻게 다른가?
• RQ4 데이터 포인트 간 샘플링 분산의 영향을 줄이면서도 선형 수렴을 유지할 수 있는가?
• RQ5 특히 불량조건 문제에서 데이터 증강이나 노이즈 주입 환경에서 실용적으로 어떻게 성능을 발휘하는가?

주요 결과

• S-MISO는 SGD보다 더 작은 점근적 오차로 선형 수렴을 달성하며, 이 수렴 속도는 데이터 포인트 간 샘플링 분산이 아닌 편향에 의해 유도되는 그래디언트 분산 $ \sigma_p^2 $ 에만 의존한다.
• S-MISO의 반복 복잡도는 $ O\left(\frac{L}{\mu}\log\frac{1}{\bar{\epsilon}} + \frac{\sigma_{\text{tot}}^2}{\mu\epsilon}\right) $ 이며, 여기서 $ \sigma_{\text{tot}}^2 $ 는 편향 노이즈를 포함하고, 상수 요소는 SGD보다 현저히 작다.
• 유방암 데이터셋에서의 실험 결과, S-MISO는 평균화 기법을 사용한 SGD보다 뛰어난 성능을 보였으며, 특히 조건수 $ \kappa = L/\mu $ 가 높은 불량조건 문제와 높은 Dropout 비율에서 두드러진 성능 향상을 보였다.
• 평균화 기법은 S-MISO와 SGD 모두의 수렴을 향상시키지만, 불량조건 문제에서 S-MISO에 대한 이득이 더 두드러진다.
• S-MISO는 유한합 증분 방법과 확률적 근사 방법 사이를 자연스럽게 보간할 수 있는 최초의 알고리즘이며, 비편향적이면서도 하이브리드 환경에서 효율적이다.
• 비균일 샘플링 환경에서도 성능을 유지하며, 조정된 스텝 사이즈와 샘플링 분포에 따라 조정된 분산 항을 통해 수렴 경계를 적응시킬 수 있다.