[논문 리뷰] Algorithms for stochastic optimization with functional or expectation constraints

Guanghui Lan, Zhiqiang Zhou|arXiv (Cornell University)|2016. 04. 13.

Stochastic Gradient Optimization Techniques참고 문헌 36인용 수 28

한 줄 요약

이 논문은 기능적 또는 기대치 제약 조건이 있는 스토하스틱 최적화 문제를 해결하기 위해 두 가지 새로운 확률적 근사 알고리즘—협동적 확률적 근사(CSA) 및 협동적 확률적 파라미터 근사(CSPA)—를 소개한다. 이 방법들은 이중 공간 반복 또는 이중 변수 추정이 필요 없이 일반적인 볼록 문제에 대해 $\mathcal{O}(1/\epsilon^2)$, 강한 볼록 문제에 대해 $\mathcal{O}(1/\epsilon)$의 최적 수렴 속도를 달성한다.

ABSTRACT

This paper considers the problem of minimizing an expectation function over a closed convex set, coupled with a {\color{black} functional or expectation} constraint on either decision variables or problem parameters. We first present a new stochastic approximation (SA) type algorithm, namely the cooperative SA (CSA), to handle problems with the constraint on devision variables. We show that this algorithm exhibits the optimal ${\cal O}(1/ε^2)$ rate of convergence, in terms of both optimality gap and constraint violation, when the objective and constraint functions are generally convex, where $ε$ denotes the optimality gap and infeasibility. Moreover, we show that this rate of convergence can be improved to ${\cal O}(1/ε)$ if the objective and constraint functions are strongly convex. We then present a variant of CSA, namely the cooperative stochastic parameter approximation (CSPA) algorithm, to deal with the situation when the constraint is defined over problem parameters and show that it exhibits similar optimal rate of convergence to CSA. It is worth noting that CSA and CSPA are primal methods which do not require the iterations on the dual space and/or the estimation on the size of the dual variables. To the best of our knowledge, this is the first time that such optimal SA methods for solving functional or expectation constrained stochastic optimization are presented in the literature.

연구 동기 및 목표

• 결정 변수 또는 문제 파라미터에 대한 기능적 또는 기대치 제약 조건이 있는 스토하스틱 최적화 문제를 다루기.
• 기존 접근 방식에서 흔한 이중 공간 반복 및 이중 변수 추정을 피하는 원천 방법을 개발하기.
• 기대치 제약 조건 하에서 일반적이고 강한 볼록 문제에 대한 최적 수렴 속도를 확립하기.
• 특히 CVaR, 준지도 학습 및 강건 분류와 같은 응용 분야에서 제약 조건을 통합하는 통합 프레임워크 제공하기.
• 이전에 Computational Optimization and Applications에 게재된 버전을 수정하고 개선하여 이론적 및 알고리즘적 타당성 확보하기.

제안 방법

• 결정 변수에 제약 조건이 있는 문제를 위한 협동적 확률적 근사(CSA) 알고리즘을 제안하며, 확률적 서브기울기를 사용하는 원천 접근 방식을 적용한다.
• 단일 업데이트 체계에서 최적성 갭과 제약 위반을 균형 잡는 협동적 스텝사이즈 전략을 적용한다.
• 문제 파라미터에 대해 제약 조건이 정의되는 문제를 위한 협동적 확률적 파라미터 근사(CSPA) 알고리즘을 도입하며, CSA 프레임워크를 확장한다.
• 목적 함수 및 제약 함수에 대해 편향이 없는 확률적 오рак루스 액세스를 사용하며, 반복 값을 안정화하기 위해 누적 평균을 적용한다.
• 볼록성 가정 하에 최적 해로 수렴을 보장하는 적응형 스텝사이즈 규칙을 사용하는 투영 서브기울기 방법을 적용한다.
• 리아푸노프 분석과 마틴게일 기법을 사용해 수렴성을 확립하며, 볼록 및 강한 볼록 케이스 모두에 대해 최적의 반복 복잡도를 증명한다.

실험 결과

연구 질문

• RQ1 기능적 또는 기대치 제약 조건이 있는 스토하스틱 최적화 문제에 대해 최적 수렴 속도를 달성하는 원천 확률적 알고리즘을 설계할 수 있는가?
• RQ2 제약 조건이 있는 스토하스틱 최적화에서 이중 공간 반복 및 이중 변수 추정이 필요 없도록 할 수 있는가?
• RQ3 목적 함수와 제약 함수가 모두 볼록일 경우 스토하스틱 알고리즘의 최적 수렴 속도는 무엇인가?
• RQ4 목적 함수와 제약 함수가 강한 볼록일 경우 수렴 속도는 어떻게 변화하는가?
• RQ5 제안된 프레임워크를 결정 변수가 아닌 문제 파라미터에 대한 제약 조건을 다룰 수 있도록 확장할 수 있는가?

주요 결과

• CSA 알고리즘은 일반 볼록 문제에서 최적성 갭과 제약 위반 모두에 대해 $\mathcal{O}(1/\epsilon^2)$의 최적 수렴 속도를 달성한다.
• 강한 볼록 목적 함수 및 제약 조건이 있는 경우, CSA 알고리즘은 더 빠른 $\mathcal{O}(1/\epsilon)$ 수렴 속도를 달성한다.
• CSPA 알고리즘은 문제 파라미터에 대한 제약 조건이 있는 문제로 이러한 수렴 보장을 확장하며, 동일한 최적 속도를 유지한다.
• 제안된 알고리즘은 이중 공간 반복 또는 이중 변수 크기 추정이 필요 없는 원천 방법이다.
• 이론적 결과는 이전에 Computational Optimization and Applications에 게재된 버전을 수정하고 개선하여 이전의 기술적 문제를 해결한다.
• 이 프레임워크는 CVaR 제약이 있는 포트폴리오 최적화, 준지도 학습 및 강건 메트릭 학습과 같은 실세계 문제에 적용 가능하다.