[논문 리뷰] Stochastic First- and Zeroth-order Methods for Nonconvex Stochastic Programming

Saeed Ghadimi, Guanghui Lan|arXiv (Cornell University)|2013. 09. 22.

Stochastic Gradient Optimization Techniques참고 문헌 32인용 수 48

한 줄 요약

이 논문은 노이즈가 있는 일阶 및 영계수 오ракูล 정보를 사용하는 비볼록 스토하스틱 프로그래밍을 위한 랜덤화된 스토하스틱 그래디언트(RSG) 방법을 제안한다. 근사 정류점을 찾는 데 거의 최적의 반복 복잡도를 확립하고, 큰 편차 성능을 향상시키기 위해 후처리 최적화 단계를 제안하며, 복잡도 한계는 기울기 없는 방법이 볼록 설정에서 차원적으로 유리한 수렴성을 보여준다.

ABSTRACT

In this paper, we introduce a new stochastic approximation (SA) type algorithm, namely the randomized stochastic gradient (RSG) method, for solving an important class of nonlinear (possibly nonconvex) stochastic programming (SP) problems. We establish the complexity of this method for computing an approximate stationary point of a nonlinear programming problem. We also show that this method possesses a nearly optimal rate of convergence if the problem is convex. We discuss a variant of the algorithm which consists of applying a post-optimization phase to evaluate a short list of solutions generated by several independent runs of the RSG method, and show that such modification allows to improve significantly the large-deviation properties of the algorithm. These methods are then specialized for solving a class of simulation-based optimization problems in which only stochastic zeroth-order information is available.

연구 동기 및 목표

• 제한된 기울기 또는 함수 값 정보를 갖는 비볼록 스토하스틱 프로그래밍 문제를 해결하기 위한 스토하스틱 일阶 및 영계수 방법 개발.
• 기존 SA 방법이 실패하는 비볼록 설정에서 근사 정류점을 계산하는 데 대한 반복 복잡도 한계 설정.
• 다양한 독립적인 실행을 사용한 후처리 최적화 단계를 통해 스토하스틱 알고리즘의 큰 편차 행동 향상.
• 단지 스토하스틱 영계수 정보만을 갖는 시뮬레이션 기반 최적화 문제에 대해 RSG 방법 특화.
• 부드러운 볼록 스토하스틱 프로그래밍에서 기울기 없는 방법의 차원 의존성 분석을 통해 더 나은 확장성 입증.

제안 방법

• 노이즈가 있는 일阶 오라클(SFO) 출력을 사용하는 랜덤화된 스토하스틱 그래디언트(RSG) 방법을 도입하여 스토하스틱 근사 알고리즘으로서 제안.
• 다양한 독립적인 RSG 실행에서 유도된 짧은 해 목록을 평가하는 후처리 최적화 단계를 도입하여 강인성과 큰 편차 성능 향상.
• 집중 부등식을 사용하여 기울기 추정기의 기대 노름과 진짜 기울기로부터의 편차를 분석함으로써 복잡도 한계 유도.
• 함수 값 차이를 이용해 무작위 편향을 사용하여 기울기를 추정함으로써 영계수 설정에 방법 적응.
• 비연속성 처리를 위해 매개변수 μ를 사용한 스무딩 기법을 도입하고, 스무딩된 기울기 추정기의 기대 오차에 대한 한계 유도.
• 분산과 편향 분해를 활용하여 최종 반복점에서 기울기의 기대 노름을 경계함으로써 수렴성 확립.

실험 결과

연구 질문

• RQ1 노이즈가 있는 기울기 정보를 갖는 비볼록 스토하스틱 프로그래밍 문제에서 스토하스틱 일阶 방법이 거의 최적의 수렴 속도를 달성할 수 있는가?
• RQ2 반복 복잡도를 증가시키지 않고도 스토하스틱 그래디언트 방법의 큰 편차 행동을 어떻게 향상시킬 수 있는가?
• RQ3 부드러운 볼록 스토하스틱 프로그래밍에서 영계수 방법의 반복 및 오라클 복잡도는 무엇이며, 이는 차원에 따라 어떻게 척도화되는가?
• RQ4 RSG 방법은 기울기 정보 없이 함수 값 쿼리만을 사용하는 영계수 정보와 함께 작동하도록 적응시킬 수 있는가, 동시에 유리한 수렴 속도 유지 가능한가?
• RQ5 볼록 스토하스틱 프로그래밍에서 기울기 없는 방법의 차원 의존성은 일계수 방법과 비교해 어떻게 되는가?

주요 결과

• RSG 방법은 비볼록 스토하스틱 프로그래밍에서 ε-근사 정류점을 찾는 데 O(1/ε²)의 반복 복잡도를 달성하며, 이는 거의 최적이다.
• 볼록 문제에서는 RSG 방법이 최적의 O(1/ε²) 반복 복잡도를 달성하여 알려진 하한값과 일치한다.
• 후처리 최적화 단계는 여러 개의 독립적인 RSG 시퀀스를 실행하고 가장 좋은 해를 선택함으로써 실패 확률을 Λ로 줄여 큰 편차 성능을 향상시킨다.
• 영계수 최적화를 위한 2-RSGF 방법의 복잡도는 O(nL²D_f²log(1/Λ)/ε + nL²(Ḋ + D_f²/Ḋ)²σ²/ε² log(1/Λ) + n log²(1/Λ)/Λ (1 + σ²/ε))로 경계되며, 유리한 차원 의존성 보여줌.
• 분석 결과 기울기 없는 방법이 부드러운 볼록 SP에서 비연속 볼록 SP보다 차원에 대해 훨씬 덜 민감한 것으로 나타나, 더 나은 확장성 입증.
• 복잡도 경계가 알려진 하한값에 로그 인자 외에는 일치하므로, 거의 최적의 수렴 속도 달성함.