[논문 리뷰] Algorithms for stochastic optimization with expectation constraints

Guanghui Lan, Zhiqiang Zhou|arXiv (Cornell University)|2016. 04. 13.

Stochastic Gradient Optimization Techniques참고 문헌 29인용 수 29

한 줄 요약

이 논문은 기댓값 제약 조건이 있는 확률적 최적화 문제를 해결하기 위해 두 가지 새로운 확률적 근사 알고리즘—협동적 확률적 근사(CSA) 및 협동적 확률적 파라미터 근사(CSPA)—를 소개한다. CSA는 이중 공간 반복이나 이중 변수 추정이 필요 없이 볼록 문제에 대해 최적의 ${\cal O}(1/\sqrt{N})$ 수렴 속도를 달성하고, 강한 볼록 문제에 대해서는 ${\cal O}(1/N)$ 수렴 속도를 확보한다.

ABSTRACT

This paper considers the problem of minimizing an expectation function over a closed convex set, coupled with an expectation constraint on either decision variables or problem parameters. We first present a new stochastic approximation (SA) type algorithm, namely the cooperative SA (CSA), to handle problems with the expectation constraint on devision variables. We show that this algorithm exhibits the optimal ${\cal O}(1/\sqrt{N})$ rate of convergence, in terms of both optimality gap and constraint violation, when the objective and constraint functions are generally convex, where $N$ denotes the number of iterations. Moreover, we show that this rate of convergence can be improved to ${\cal O}(1/N)$ if the objective and constraint functions are strongly convex. We then present a variant of CSA, namely the cooperative stochastic parameter approximation (CSPA) algorithm, to deal with the situation when the expectation constraint is defined over problem parameters and show that it exhibits similar optimal rate of convergence to CSA. It is worth noting that CSA and CSPA are primal methods which do not require the iterations on the dual space and/or the estimation on the size of the dual variables. To the best of our knowledge, this is the first time that such optimal SA methods for solving expectation constrained stochastic optimization are presented in the literature.

연구 동기 및 목표

• 결정 변수 또는 문제 파라미터에 기댓값 제약 조건이 있는 확률적 최적화 문제를 다루는 것.
• 기존 접근 방식에서 흔히 사용되는 이중 공간 반복 및 이중 변수 추정을 피하는 원천 방법을 개발하는 것.
• 기댓값 제약 조건 하에서 볼록 및 강한 볼록 설정에 대해 최적의 수렴 속도를 확립하는 것.
• 기댓값 제약 조건이 있는 확률적 최적화 문제에 대해 증명 가능하게 최적의 수렴 속도를 갖는 첫 번째 확률적 근사 방법을 제공하는 것.

제안 방법

• 결정 변수에 기댓값 제약 조건이 있는 문제를 위한 협동적 확률적 근사(CSA) 알고리즘을 제안하며, 원천 단일 루프 업데이트 방식을 사용한다.
• 각 반복에서 최적성 간격과 제약 위반을 동시에 줄이는 협동 업데이트 메커니즘을 적용한다.
• 일반 볼록성 하에서 기대 부분미분 노름과 제약 위반 항을 분석함으로써 수렴 속도를 도출한다.
• 결정 변수가 아닌 문제 파라미터에 기댓값 제약 조건이 작용하는 문제를 위한 변형인 협동적 확률적 파라미터 근사(CSPA)를 도입한다.
• 이중 변수 추정을 피하는 원천 전용 프레임워크를 사용하여 구현을 단순화하고 계산 오버헤드를 감소시킨다.
• 스토하스틱 설정에서 마팅게일 차분 수열과 거의 확실 수렴 추론을 통해 수렴 속도를 확립한다.

실험 결과

연구 질문

• RQ1 기댓값 제약 조건이 있는 결정 변수에 대해 원천 확률적 근사 방법이 최적의 수렴 속도를 달성할 수 있는가?
• RQ2 일반 볼록성 가정 하에서 이러한 문제에 대해 보장할 수 있는 수렴 속도는 무엇인가?
• RQ3 강한 볼록성 하에서 수렴 속도를 ${\cal O}(1/N)$ 으로 향상시킬 수 있는가?
• RQ4 이와 같은 프레임워크를 결정 변수가 아닌 문제 파라미터에 기댓값 제약 조건이 작용하는 경우로 확장할 수 있는가?
• RQ5 이중 공간 반복이나 이중 변수 추정이 필요 없이 최적의 속도를 달성할 수 있는가?

주요 결과

• CSA 알고리즘은 일반 볼록 문제에서 최적성 간격과 제약 위반 모두에 대해 ${\cal O}(1/\sqrt{N})$ 수렴 속도를 달성한다.
• 강한 볼록성 하에서는 CSA의 수렴 속도가 ${\cal O}(1/N)$ 으로 향상되며, 이는 비제약 조건 문제의 최고 수준의 알려진 속도와 일치한다.
• CSPA 알고리즘은 문제 파라미터에 기댓값 제약 조건이 있는 문제로 성능을 확장하며, 동일한 최적의 수렴 속도를 유지한다.
• CSA 및 CSPA는 이중 공간 반복이나 이중 변수 크기 추정이 필요 없는 원천 방법이다.
• 저자들이 알고 있는 바에 따르면, 이는 기댓값 제약 조건이 있는 확률적 최적화 문제에 대해 증명 가능하게 최적의 수렴 속도를 갖는 첫 번째 작업이다.
• 이론적 분석은 제안된 알고리즘이 고려된 문제 유형에 대해 수렴 속도 측면에서 최적임을 확인한다.