[논문 리뷰] Stochastically Controlled Stochastic Gradient for the Convex and Non-convex Composition problem

Liu Liu, Ji Liu외 2명|arXiv (Cornell University)|2018. 09. 06.

Stochastic Gradient Optimization Techniques참고 문헌 13인용 수 10

한 줄 요약

이 논문은 형식 $\frac{1}{n}\sum_{i=1}^n F_i\left(\frac{1}{n}\sum_{j=1}^n G_j(x)\right)$ 의 볼록 및 비볼록 조합 문제를 위한 확률적 제어를 갖춘 확률적 경사하강법(Stochastically Controlled Stochastic Gradient, SCSG)을 제안한다. 분산 감소와 확률적 경사 추정을 활용하여 더 낮은 쿼리 복잡도를 달성한다. 이 방법은 이전 방법보다 더 낮은 쿼리 복잡도로 최적 또는 근사 최적 수렴 속도를 달성한다.

ABSTRACT

In this paper, we consider the convex and non-convex composition problem with the structure $\frac{1}{n}\sum olimits_{i = 1}^n {{F_i}( {G( x )} )}$, where $G( x )=\frac{1}{n}\sum olimits_{j = 1}^n {{G_j}( x )} $ is the inner function, and $F_i(\cdot)$ is the outer function. We explore the variance reduction based method to solve the composition optimization. Due to the fact that when the number of inner function and outer function are large, it is not reasonable to estimate them directly, thus we apply the stochastically controlled stochastic gradient (SCSG) method to estimate the gradient of the composition function and the value of the inner function. The query complexity of our proposed method for the convex and non-convex problem is equal to or better than the current method for the composition problem. Furthermore, we also present the mini-batch version of the proposed method, which has the improved the query complexity with related to the size of the mini-batch.

연구 동기 및 목표

• 조합 최적화에서 대규모 유한합 내부 및 외부 함수의 추정에 따른 높은 계산 비용을 해결하기 위해.
• 큰 $n$ 으로 인해 직접 경사 추정이 불가능한 경우, 확률적 조합 문제에서의 쿼리 복잡도를 줄이기 위해.
• 낮은 쿼리 복잡도를 유지하면서도 볼록 및 비볼록 설정 모두에서 수렴을 보장하는 분산 감소 확률적 알고리즘을 개발하기 위해.
• 제한된 야코비안과 매끄러운 성분을 갖는 중첩된 구조의 조합 함수를 다룰 수 있도록 SCSG 프레임워크를 확장하기 위해.
• 기존 방법들인 SCGD와 SC-SVRG보다 향상된 기준으로 이론적 쿼리 복잡도 경계를 유도하기 위해.

제안 방법

• 전체 배치 계산에 의존도를 줄이기 위해 조합 함수의 경사와 내부 함수 $G(x)$ 의 경사를 추정하기 위해 확률적 제어를 갖춘 확률적 경사하강법(SCSG)을 사용한다.
• 쿼리 복잡도를 추가로 향상시키기 위해 미니배치 변형을 적용하여 미니배치 크기와 함께 유리하게 스케일링된다.
• 과거 반복에서의 제어 변수를 사용하여 분산을 제어하는 재귀적 경사 추정기를 도입한다.
• 두 수준의 샘플링 전략을 적용: $F_i$ 와 $G_j$ 의 색인을 독립적으로 샘플링하여 확률적 경사 추정의 분산을 감소시킨다.
• Smoothness 가정, $G_j$ 의 유계 야코비안, 그리고 레마 1–3를 통한 분산 제어를 바탕으로 이론적 경계를 도출한다.
• 수렴과 복잡도를 균형 잡기 위해 단계 크기 $\eta = b^{3/5} \min\{1/n^{2/5}, \varepsilon^{2/5}\}$ 와 배치 크기 $A$, $D$, $K$ 를 제어한다.

실험 결과

연구 질문

• RQ1 기존의 확률적 조합 해법보다 더 낮은 쿼리 복잡도를 달성할 수 있는 분산 감소 SCSG 방법이 존재하는가?
• RQ2 동시로 $G(x)$ 와 $F(G(x))$ 를 추정할 때 발생하는 비독립적(Non-i.i.d.) 경사 편향을 제안된 방법은 어떻게 다루는가?
• RQ3 쿼리 복잡도를 최소화하기 위해 최적의 미니배치 크기, 단계 크기, 반복 횟수 사이의 상호 관계는 무엇인가?
• RQ4 비볼록 설정에서 $\mathcal{O}(1/\varepsilon^{9/5})$ 의 쿼리 복잡도를 달성할 수 있는가? 이는 이전 결과를 따라하거나 향상시키는가?
• RQ5 미니배치 버전은 단일 샘플 SCSG 대비 증명 가능한 쿼리 복잡도 향상을 제공하는가?

주요 결과

• 비볼록 문제에 대해 제안된 방법은 $\mathcal{O}(\min\{1/\varepsilon^{9/5}, n^{4/5}/\varepsilon\})$ 의 쿼리 복잡도를 달성하여 SCGD와 ASC-PG 보다 향상시켰다.
• 볼록 케이스의 경우 쿼리 복잡도는 $\mathcal{O}\left(\left(\min\{n, 1/(\varepsilon \mu^2)\} + \frac{L_f^2}{\mu^2} \min\{n, 1/\mu^2\}\right) \log(1/\varepsilon)\right)$ 로, 이전 결과와 동일하거나 향상된 결과를 보였다.
• 미니배치 버전은 쿼리 복잡도를 $1/b^{1/5}$ 배로 감소시켜 미니배치 크기 $b$ 와 유리하게 스케일링됨을 보였다.
• 이론적 분석을 통해 제어 변수와 유계 야코비안 가정을 조합하여 경사 분산을 제어함을 확인하였다.
• 표준 가정 하에 최적의 수렴 속도를 달성하였다: $F_i$ 의 매끄러움, $G_j$ 의 유계 야코비안, 그리고 경사의 유한 분산.
• 단계 크기 $\eta = b^{3/5} \min\{1/n^{2/5}, \varepsilon^{2/5}\}$ 가 수렴과 복잡도를 최적으로 균형 잡는 것으로 입증되었다.