[논문 리뷰] Multi-Level Stochastic Gradient Methods for Nested Composition Optimization

Shuoguang Yang, Mengdi Wang외 1명|arXiv (Cornell University)|2018. 01. 11.

Risk and Portfolio Optimization참고 문헌 1인용 수 5

한 줄 요약

이 논문은 T단계 기대값을 포함하는 중첩된 조합 최적화를 위한 다중 수준 확률적 경사하강법을 제안하며, 복잡한 의존성을 다루기 위해 시간스케일 기반 접근법을 사용한다. 부드러운 목표 함수의 경우 수렴 속도가 O(n⁻⁴/(7+T))이며, 강凸인 경우 O(n⁻⁴/(3+T))로, 다중 수준 환경에서 표준 확률적 경사하강법보다 크게 향상된다.

ABSTRACT

Stochastic gradient methods are scalable for solving large-scale optimization problems that involve empirical expectations of loss functions. Existing results mainly apply to optimization problems where the objectives are one- or two-level expectations. In this paper, we consider the multi-level compositional optimization problem that involves compositions of multi-level component functions and nested expectations over a random path. It finds applications in risk-averse optimization and sequential planning. We propose a class of multi-level stochastic gradient methods that are motivated from the method of multi-timescale stochastic approximation. First we propose a basic $T$-level stochastic compositional gradient algorithm, establish its almost sure convergence and obtain an $n$-iteration error bound $O (n^{-1/2^T})$. Then we develop accelerated multi-level stochastic gradient methods by using an extrapolation-interpolation scheme to take advantage of the smoothness of individual component functions. When all component functions are smooth, we show that the convergence rate improves to $O(n^{-4/(7+T)})$ for general objectives and $O (n^{-4/(3+T)})$ for strongly convex objectives. We also provide almost sure convergence and rate of convergence results for nonconvex problems. The proposed methods and theoretical results are validated using numerical experiments.

연구 동기 및 목표

• 위험 회피 최적화와 순차적 의사결정과 같은 과제에서 나타나는 다중 수준 중첩 기대값을 포함하는 대규모 최적화 문제를 다루기 위해.
• 구성 요소 함수의 정확한 지식이 필요로 하지 않고, 각 수준에서 노이즈가 섞인 경사하강값을 반환하는 샘플 오라클에 의존하는 확장 가능한 확률적 경사하강법을 개발하기 위해.
• 최소한의 부드러움 가정 하에 볼록 및 비볼록 설정 모두에서 거의 확실한 수렴성과 비점근적 오차 한계를 확립하기 위해.
• 구성 요소 함수의 부드러움을 활용하는 외삽-보간 기법을 통합하여 수렴 속도를 향상시키기 위해.

제안 방법

• 각 수준의 중첩 조합에서의 경사하강값을 추정하기 위해 반복적으로 샘플 오라클을 쿼리하는 T단계 확률적 조합 경사하강(ScGD) 알고리즘을 제안한다.
• 수준 간 순차적 의존성을 다루기 위해 다중 시간스케일 확률적 근사 프레임워크를 활용하여, 노이즈가 섞인 경사하강값 추정에도 불구하고 안정적인 수렴을 보장한다.
• 개별 구성 요소 함수의 부드러움을 활용하여 수렴 속도를 가속화하는 외삽-보간 기법을 도입한다.
• 수준 간 오차 전파를 분석하여 수렴 속도를 유도하며, 재귀 부등식과 리아푸노프 함수를 사용해 최적해와의 거리에 대한 경계를 설정한다.
• 전체 목표 함수의 경사하강값에 대한 비편향 추정이 필요로 하지 않고, 각 구성 요소 함수 f(j)와 그 조합에 대해 노이즈가 섞인 경사하강값을 반환하는 샘플 오라클을 사용한다.
• 최적성 조건과 강凸성 가정을 적용하여 유리한 구조적 특성이 있는 경우 향상된 수렴 속도를 도출한다.

실험 결과

연구 질문

• RQ1 확률적 경사하강법은 각 수준이 이전 수준의 랜덤 변수에 의존하는 T단계 중첩 기대값 조합을 다룰 수 있는가?
• RQ2 구성 요소 함수가 부드럽거나 강凸일 경우, 다중 수준 확률적 조합 최적화에서 달성할 수 있는 수렴 속도는 무엇인가?
• RQ3 오직 노이즈가 섞인 구성 요소 수준의 경사하강 정보만 제공되는 다중 수준 확률적 환경에선 가속 기법을 어떻게 적응시킬 수 있는가?
• RQ4 수준 수 T가 수렴 속도에 미치는 영향는 무엇이며, 알고리즘 설계를 통해 이를 완화할 수 있는가?
• RQ5 약한 정규성 조건 하에 비볼록 다중 수준 확률적 조합 문제에 대해 거의 확실한 수렴을 확립할 수 있는가?

주요 결과

• 제안된 T단계 확률적 조합 경사하강법은 표준 가정 하에 일반 목표 함수에 대해 거의 확실한 수렴 속도 O(n⁻¹/²ᵀ)를 달성한다.
• 구성 요소 함수가 부드러운 경우, 수렴 속도는 O(n⁻⁴/(7+T))로 향상되어 부드러움을 활용하는 효과를 보여준다.
• 강凸 목표 함수의 경우, 수렴 속도는 O(n⁻⁴/(3+T))로 더욱 향상되어 구조적 가정 하에 가속 수렴이 이루어짐을 보여준다.
• 비볼록 문제에 대해서도 거의 확실한 수렴을 유지하며, 부드러움 조건 하에 수렴 속도는 O(n⁻⁴/(7+T))이다.
• 이론적 분석은 수렴 속도가 T가 증가함에 따라 열화되나, 가속 기법이 이 열화를 상당 부분 완화함을 확인한다.
• 수치 실험은 이론적 결과를 검증하며, 제안된 방법이 다중 수준 환경에서 베이스라인 확률적 경사하강 방법보다 뛰어난 성능을 보임을 보여준다.