[논문 리뷰] On the solution of stochastic optimization and variational problems in imperfect information regimes

Hao Jiang, Uday V. Shanbhag|arXiv (Cornell University)|2014. 02. 06.

Risk and Portfolio Optimization참고 문헌 38인용 수 5

한 줄 요약

이 논문은 진정한 매개변수 θ*가 알려져 있지 않은 불완전한 정보 환경에서, 확률적 최적화 문제와 학습 문제를 동시에 해결하는 결합된 확률적 근사 방법을 제안한다. 이 방법은 강凸 조건 하에서 거의 확실 수렴성과 최적 수렴 속도를 달성하며, 학습 불확실성으로 인해 약간의 성능 저하가 발생하지만, 이는 적응형 평균화를 통해 복구 가능하다. 이로 인해 볼륨 K에 대해 O(√(ln K)/√K)의 제어된 저하가 발생한다.

ABSTRACT

We consider the solution of a stochastic convex optimization problem $\mathbb{E}[f(x;θ^*,ξ)]$ over a closed and convex set $X$ in a regime where $θ^*$ is unavailable and $ξ$ is a suitably defined random variable. Instead, $θ^*$ may be obtained through the solution of a learning problem that requires minimizing a metric $\mathbb{E}[g(θ;η)]$ in $θ$ over a closed and convex set $Θ$. Traditional approaches have been either sequential or direct variational approaches. In the case of the former, this entails the following steps: (i) a solution to the learning problem, namely $θ^*$, is obtained; and (ii) a solution is obtained to the associated computational problem which is parametrized by $θ^*$. Such avenues prove difficult to adopt particularly since the learning process has to be terminated finitely and consequently, in large-scale instances, sequential approaches may often be corrupted by error. On the other hand, a variational approach requires that the problem may be recast as a possibly non-monotone stochastic variational inequality problem in the $(x,θ)$ space; but there are no known first-order stochastic approximation schemes are currently available for the solution of this problem. To resolve the absence of convergent efficient schemes, we present a coupled stochastic approximation scheme which simultaneously solves both the computational and the learning problems. The obtained schemes are shown to be equipped with almost sure convergence properties in regimes when the function $f$ is either strongly convex as well as merely convex.

연구 동기 및 목표

• 진정한 매개변수 θ*가 알려져 있지 않고 데이터로부터 학습되어야 하는 확률적 최적화 문제를 다루기 위해.
• 유한 종료 오차와 대규모 설정에서의 낮은 확장성으로 인해 제한을 겪는 순차적 접근의 문제를 해결하기 위해.
• 불완전한 정보 하에서 확률적 환경에서 최적화와 학습 문제를 통합적으로 해결하기 위한 프레임워크를 개발하기 위해.
• 비결정성에 기반한 확률적 변분부등식 문제로의 접근을 확장하여, 불확실성 하에서 최적화와 균형 문제를 통합하기 위해.
• 학습으로 인한 수렴 속도 저하를 정량화하고, 최적 속도를 회복할 수 있는 조건을 제공하기 위해.

제안 방법

• 최적화 변수 x와 학습 변수 θ를 동시에 업데이트하는 단일 반복 과정을 통해 최적화 및 학습 문제를 동시에 해결하는 결합된 확률적 근사 방법을 제안한다.
• 강凸 및 일반적인 볼륨 조건 모두에서 거의 확실 수렴성을 보장하기 위해 감소하는 스텝 크기 규칙과 일정한 스텝 크기 규칙을 사용한다.
• 볼륨 조건 하에서 오차 저하를 줄이기 위해 평균화 기법을 적용하며, 적절한 윈도우 조정을 통해 최적의 O(1/√K) 수렴 속도를 회복할 수 있다.
• 단조성 조건이 만족되지 않는 경우를 고려하여, 단조성 조건이 만족되지 않는 경우를 다루기 위해 반복적 Tikhonov 정규화를 적용한다.
• 온라인 대응 버전에 대해 비점근적 리그레트 한계를 도입하여, 적절한 스텝 크기 선택 하에 평균 리그레트가 O(ln K / √K) 속도로 감소함을 보였다.
• 문제의 구조적 특성을 활용하여, 이전에 알려진 바가 없던 비단조성 확률적 변분부등식 문제에 대해 일阶 방법을 설계하였다.

실험 결과

연구 질문

• RQ1 데이터 기반 환경에서 알려지지 않은 매개변수 θ*를 동시에 해결할 수 있는 단일 확률적 근사 방법을 설계할 수 있는가?
• RQ2 학습 불확실성이 존재할 경우, 특히 볼륨 조건과 강凸 조건에서의 수렴 속도는 어떻게 되는가?
• RQ3 학습으로 인한 해의 오차는 어떻게 저하되며, 알고리즘 설계를 통해 이러한 저하를 완화할 수 있는가?
• RQ4 비단조성 사상이 존재하는 확률적 변분부등식 문제로 제안된 프레임워크를 확장할 수 있는가?
• RQ5 최적화와 학습이 실시간으로 이루어지는 온라인 의사결정 환경에서 어떤 리그레트 한계를 확립할 수 있는가?

주요 결과

• 제안된 결합된 확률적 근사 방법은 강凸 및 일반적인 볼륨 조건 모두에서 최적화 및 학습 구성 요소에 대해 거의 확실 수렴성을 달성한다.
• 강凸 조건 하에서 감소하는 스텝 크기 조건 하에, 이 방법은 최적 수렴 속도인 O(1/√K)를 달성한다.
• 볼륨 조건 하에서, 학습 불확실성으로 인해 함수 값 오차는 O(√(ln K)/√K)로 저하되지만, 평균화 윈도우를 수정함으로써 최적의 O(1/√K) 속도로 복구할 수 있다.
• 비단조성 조건 하에서, 약한 날카로움 가정 하에 기대 거리가 해집합까지 O(√(ln K)/√K) 속도로 감소한다.
• 온라인 리그레트 한계는 O(ln K / √K) 속도로 감소하며, 이는 점근적이지 않고 실시간 의사결정에 적합하다.
• 초기 수치 결과는 다양한 문제 사례와 매개변수 설정에서 제안된 방법의 성능을 검증한다.