[논문 리뷰] Stochastic Compositional Gradient Descent: Algorithms for Minimizing Compositions of Expected-Value Functions

Mengdi Wang, Ethan X. Fang외 1명|arXiv (Cornell University)|2014. 11. 14.

Stochastic Gradient Optimization Techniques참고 문헌 21인용 수 6

한 줄 요약

이 논문은 구성된 기대값 함수의 최소화를 위한 새로운 알고리즘인 Stochastic Compositional Gradient Descent (SCGD)를 제안한다. 즉, min_x E_v[f_v(E_w[g_w(x)])] 형태의 문제들이다. SCGD는 내부 및 외부 함수의 경사도에 대한 노이즈 있는 샘플을 사용하며, E_w[g_w(x)]를 추적하기 위한 보조 변수를 도입하여 최적 해로의 거의 확실 수렴을 달성한다. 일반적인 볼록 문제에 대해 수렴 속도가 O(k^{-1/4})이고, 강한 볼록 문제에 대해선 O(k^{-2/3})이며, 가속 버전은 각각 O(k^{-2/7})과 O(k^{-4/5})의 수렴 속도를 보이며, 샘플링 제약 조건 하에서 성립한다.

ABSTRACT

Classical stochastic gradient methods are well suited for minimizing expected-value objective functions. However, they do not apply to the minimization of a nonlinear function involving expected values or a composition of two expected-value functions, i.e., problems of the form $\min_x \mathbf{E}_v [f_v\big(\mathbf{E}_w [g_w(x)]\big)]$. In order to solve this stochastic composition problem, we propose a class of stochastic compositional gradient descent (SCGD) algorithms that can be viewed as stochastic versions of quasi-gradient method. SCGD update the solutions based on noisy sample gradients of $f_v,g_{w}$ and use an auxiliary variable to track the unknown quantity $\mathbf{E}_w[g_w(x)]$. We prove that the SCGD converge almost surely to an optimal solution for convex optimization problems, as long as such a solution exists. The convergence involves the interplay of two iterations with different time scales. For nonsmooth convex problems, the SCGD achieve a convergence rate of $O(k^{-1/4})$ in the general case and $O(k^{-2/3})$ in the strongly convex case, after taking $k$ samples. For smooth convex problems, the SCGD can be accelerated to converge at a rate of $O(k^{-2/7})$ in the general case and $O(k^{-4/5})$ in the strongly convex case. For nonconvex problems, we prove that any limit point generated by SCGD is a stationary point, for which we also provide the convergence rate analysis. Indeed, the stochastic setting where one wants to optimize compositions of expected-value functions is very common in practice. The proposed SCGD methods find wide applications in learning, estimation, dynamic programming, etc.

연구 동기 및 목표

• 기대값 함수의 구성 최소화 문제, 즉 E_v[f_v(E_w[g_w(x)])]와 같이 고전적 SGD가 샘플링 확률의 비선형성으로 인해 실패하는 문제에 대해 스위치 최적화 방법의 부재를 해결하기 위해.
• 샘플링 오라클을 통해 내부 및 외부 함수의 노이즈 있는 경사도 샘플만을 사용하는 부분 정보 하에서 작동하는 스위치 1차 최적화 방법을 개발하기 위해.
• 볼록 및 비볼록 변형에 대해 거의 확실 수렴성과 수렴 속도 경계를 확립하기 위해.
• 동적 프로그래밍, 위험 회피 최적화, 스위치 최단 경로 문제 등 실제 적용 사례를 통해 실용적 적용 가능성을 입증하기 위해.

제안 방법

• SCGD는 두 가지 시간 척도의 갱신 규칙을 사용한다: 주 변수 x에 대한 갱신과 E_w[g_w(x)]를 추적하는 보조 변수에 대한 갱신.
• 샘플링 오라클을 통해 ∇f_v(y)와 ∇g_w(x)의 불편한 노이즈 있는 샘플을 사용하여 외부 및 내부 함수의 경사도를 추정한다.
• 스위치 근사 프레임워크를 적용하여 f ∘ g를 구성으로 간주하고, f가 g의 기대값에 적용되도록 한다.
• 비미분 가능 문제의 경우 SCGD는 하향 경사도 근사를 사용하고, 미분 가능 문제의 경우 경사도 정보를 활용하여 수렴 속도를 가속화한다.
• 추론 기법을 사용한 가속화 기법을 도입하여, 일반 볼록 문제에서 O(k^{-2/7}) 및 강한 볼록 문제에서 O(k^{-4/5})의 수렴 속도를 달성한다.
• 최적화 기반 접근을 가능하게 하기 위해, 미분 불가능한 연산(예: min, max)은 매끄럽게 근사화된 형태(예: h_ϵ(y1,y2))를 통해 처리한다.

실험 결과

연구 질문

• RQ1 고전적 SGD가 샘플링 확률의 비선형성로 인해 실패하는 구성된 기대값 함수 최소화 문제에 대해 스위치 경사도 방법을 어떻게 확장할 수 있는가?
• RQ2 부분 정보 및 노이즈 있는 경사도 접근 조건 하에서 스위치 구성 최적화에 대해 어떤 수렴 보장을 확립할 수 있는가?
• RQ3 볼록 및 비볼록 설정에서 스위치 구성 문제의 최적 수렴 속도는 무엇인가?
• RQ4 가속화 기법은 스무스 및 강한 볼록 케이스에서 수렴 속도를 향상시키기 위해 어떻게 적응시킬 수 있는가?
• RQ5 SCGD는 동적 프로그래밍 및 위험 회피 최적화와 같은 실제 문제에 대해 이론적 보장을 제공하면서 적용 가능할 수 있는가?

주요 결과

• 표준 가정 하에, SCGD는 볼록 스위치 구성 최적화 문제에서 최적 해로 거의 확실하게 수렴한다.
• 비미분 가능 볼록 문제의 경우, k개의 샘플 이후 일반적인 경우 O(k^{-1/4})의 수렴 속도와 강한 볼록 경우 O(k^{-2/3})의 수렴 속도를 달성한다.
• 스무스 볼록 문제의 경우, 가속화된 SCGD 버전은 일반적인 경우 O(k^{-2/7})의 수렴 속도와 강한 볼록 경우 O(k^{-4/5})의 수렴 속도를 달성한다.
• 비볼록 문제의 경우, SCGD의 모든 극한 점은 정류점이며, 수렴 속도 분석이 제공된다.
• 스위치 최단 경로 문제에 대한 수치 실험 결과, SCGD의 수렴 성능이 확인되었고, 가속화된 SCGD가 실질적으로 기본 버전을 능가함을 보였다.
• 동적 프로그래밍 문제에서 SCGD는 값 반복 결과와 일치하는 최적의 의사결정 규칙을 성공적으로 복원하였으며, 학습 과정에서 Q-값을 온라인으로 추정하였다.