[논문 리뷰] Mini-batch Stochastic Approximation Methods for Nonconvex Stochastic Composite Optimization

Saeed Ghadimi, Guanghui Lan외 1명|arXiv (Cornell University)|2013. 08. 29.

Stochastic Gradient Optimization Techniques참고 문헌 26인용 수 11

한 줄 요약

이 논문은 제약집합 기하구조를 활용하기 위해 일반적인 거리 함수를 사용하는 미니배치 샘플링을 통한 비볼록 스토하스틱 복합 최적화를 위한 랜덤화된 스토하스틱 프로젝션 그래디언트(RSPG) 알고리즘을 제안한다. 거의 최적의 반복 복잡도를 확립하고, 특히 경미한 尾비소음 조건 하에서 해의 분산을 크게 줄이는 두 단계 후최적화 단계를 도입하며, 비볼록 문제(예: 준감독 학습 포함)에 대해 이론적 및 실증적 검증을 수행한다.

ABSTRACT

This paper considers a class of constrained stochastic composite optimization problems whose objective function is given by the summation of a differentiable (possibly nonconvex) component, together with a certain non-differentiable (but convex) component. In order to solve these problems, we propose a randomized stochastic projected gradient (RSPG) algorithm, in which proper mini-batch of samples are taken at each iteration depending on the total budget of stochastic samples allowed. The RSPG algorithm also employs a general distance function to allow taking advantage of the geometry of the feasible region. Complexity of this algorithm is established in a unified setting, which shows nearly optimal complexity of the algorithm for convex stochastic programming. A post-optimization phase is also proposed to significantly reduce the variance of the solutions returned by the algorithm. In addition, based on the RSPG algorithm, a stochastic gradient free algorithm, which only uses the stochastic zeroth-order information, has been also discussed. Some preliminary numerical results are also provided.

연구 동기 및 목표

• 제약 조건이 있는 비볼록 스토하스틱 복합 최적화 문제를 위한 효율적인 스토하스틱 알고리즘이 부족한 문제를 해결하기 위해.
• 일반적인 거리 함수를 사용하여 탇집합의 기하학적 특성에 적응하는 미니배치 스토하스틱 프로젝션 그래디언트 방법을 개발하기 위해.
• 일관된 프레임워크 내에서 볼록 및 비볼록 케이스 모두에 대해 거의 최적의 반복 복잡도 경계를 확립하기 위해.
• 특히 경미한 尾비소음 조건 하에서, 두 단계 후최적화 단계를 통해 해의 분산을 줄이기 위해.
• 오직 함수 평가만을 사용하는 제로스티드 스토하스틱 최적화로 프레임워크를 확장하기 위해.

제안 방법

• 반복마다 스토하스틱 그래디언트의 미니배치를 사용하여 분산을 줄이고 수렴성을 향상시키는 RSPG 알고리즘을 제안한다.
• 제약집합 X의 기하학적 특성에 적응하기 위해 일반적인 거리 함수(예: 브레그만 발산)를 사용하여 투영 단계를 정의한다.
• 해의 분산을 줄이기 위해 궤적에서 해를 선택하는 후최적화 단계를 포함한 두 단계 RSPG(2-RSPG) 알고리즘을 도입한다.
• 표준 가정 하에서 알고리즘을 분석한다: 스토하스틱 그래디언트의 분산이 유계이고, f의 그래디언트가 리프시츠 연속이다.
• ϵ-해를 기대값 또는 높은 확률으로 달성하기 위해 필요한 SFO 호출 수를 기준으로 복잡도 경계를 유도한다.
• 오직 함수 평가만을 사용하는 RSPG의 제로스티드 변형을 제안하여, 도함수에 접근할 수 없는 문제에 적합하다.

실험 결과

연구 질문

• RQ1 미니배치 스토하스틱 프로젝션 그래디언트 방법이 비볼록 스토하스틱 복합 문제에 대해 거의 최적의 복잡도를 달성할 수 있는가?
• RQ2 일반적인 거리 함수의 사용이 제약 조건이 있는 비볼록 스토하스틱 최적화에서 수렴을 어떻게 향상시키는가?
• RQ3 두 단계 후최적화 단계가 표준 RSPG에 비해 해의 분산을 크게 줄일 수 있는가?
• RQ4 제안된 알고리즘의 이론적 복잡도는 ϵ-해를 달성하기 위해 필요한 스토하스틱 오라클 호출 수로 어떻게 기술되는가?
• RQ5 오직 함수 평가만을 사용하는 제로스티드 스토하스틱 최적화로 프레임워크를 확장할 수 있는가?

주요 결과

• RSPG 알고리즘은 기대값 기반으로 ϵ-해를 구하기 위해 O(σ²/ε²)의 복잡도를 달성하며, 이는 볼록 문제의 최적 속도와 일치한다.
• 2-RSPG 알고리즘은 분산을 크게 줄이며, 특히 경미한 尾비소음 조건 하에서 2-RSPG-V 버전이 가장 낮은 분산을 보였다.
• 준감독 SVM 문제에서 2-RSPG-V는 프로젝션 그래디언트 노름 0.0339(n=1000, 25k개 샘플)을 달성했으며, RSPG의 0.1007보다 유의미하게 낮았다.
• 2-RSPG-V의 수렴 시 평균 목적 함수 값은 0.9351(n=1000)이었고, RSPG(0.9513)와 2-RSPG(0.9719)를 모두 능가했다.
• 두 단계 후최적화 단계는 큰 편차 성능을 향상시켜, O(log(1/Λ)σ²/ε²)의 복잡도로 높은 확률(1−Λ)의 해를 달성한다.
• RSPG의 제로스티드 변형은 도함수에 접근할 수 없는 문제에서 효과적이며, 도함수 없는 설정으로 프레임워크를 확장한다.