[논문 리뷰] Online Convex Optimization with Stochastic Constraints

Hao Yu, Michael J. Neely외 1명|arXiv (Cornell University)|2017. 08. 12.

Advanced Bandit Algorithms Research참고 문헌 27인용 수 29

한 줄 요약

이 논문은 결정을 내린 후에 공개되는 i.i.d. 실현값을 갖는 확률적 제약 조건을 가진 문제를 위한 새로운 온라인 볼록 최적화 알고리즘을 제안한다. 이 알고리즘은 $O(\sqrt{T})$의 기대적 위험과 제약 위반을 달성하며, $O(\sqrt{T}\log T)$의 고확률 경계를 제공하여 불확실성 하에서의 비선형 성장에 비해 이전 방법들을 능가한다.

ABSTRACT

This paper considers online convex optimization (OCO) with stochastic constraints, which generalizes Zinkevich's OCO over a known simple fixed set by introducing multiple stochastic functional constraints that are i.i.d. generated at each round and are disclosed to the decision maker only after the decision is made. This formulation arises naturally when decisions are restricted by stochastic environments or deterministic environments with noisy observations. It also includes many important problems as special cases, such as OCO with long term constraints, stochastic constrained convex optimization, and deterministic constrained convex optimization. To solve this problem, this paper proposes a new algorithm that achieves $O(\sqrt{T})$ expected regret and constraint violations and $O(\sqrt{T}\log(T))$ high probability regret and constraint violations. Experiments on a real-world data center scheduling problem further verify the performance of the new algorithm.

연구 동기 및 목표

• 결정을 내린 후에만 공개되는 i.i.d. 확률적 제약 조건을 갖는 온라인 볼록 최적화 문제를 다루기.
• 이전 OCO 방법들이 제약 집합을 사전에 알 필요가 있거나 시간에 따라 변화하는 제약 조건 하에서 실패하는 한계를 극복하기.
• 모르는 분포와 지연된 제약 정보가 존재하는 상황에서도 위험과 제약 위반이 비선형적으로 증가하는 것을 방지하는 알고리즘 설계.
• 장기 제약 조건이 있는 OCO, 확률적 최적화, 결정적 제약 조건 문제와 같은 중요한 특수 케이스로 일반화하기.
• 실제 응용 분야(예: 데이터 센터 스케줄링)에 적합한 이론적 경계를 갖는 위험과 제약 위반의 날카롭고 실용적인 한계 확보하기.

제안 방법

• 제약 위반을 추적하기 위해 동적 이중 변수 벡터 $\mathbf{Q}(t)$를 유지하는 이중 기반 온라인 알고리즘 도입.
• 시간에 따라 변화하는 페널티 파라미터 $V$를 통해 위험과 제약 위반의 균형을 이루는 라플라스 최적화 프레임워크 사용.
• 손실 함수 $f^t(\cdot)$의 하향 기울기와 이중 변수를 사용하여 결정 $\mathbf{x}(t)$에 대해 투영된 기울기 업데이트 적용.
• 확률적 제약 조건의 분포가 알려지지 않은 상황을 다루기 위해 랜덤화된 라운딩 또는 샘플링 메커니즘 통합.
• 크기 있는 제약 위반의 확률을 제한하기 위해 농도 불등식(예: 호프딩 유형 경계) 활용.
• 수렴성과 위험 및 위반의 비선형 증가를 보장하기 위해 시간에 따라 변화하는 스텝 사이즈와 이중 업데이트 규칙 사용.

실험 결과

연구 질문

• RQ1 제약 조건이 i.i.d. 이며 결정 이후에 공개될 때, 확률적 제약 조건이 있는 온라인 볼록 최적화 문제에서 비선형 위험과 제약 위반을 달성할 수 있는가?
• RQ2 확률적 제약 조건 하에서 $O(\sqrt{T})$ 기대 위험과 $O(\sqrt{T}\log T)$ 고확률 경계를 동시에 달성할 수 있는 알고리즘 아키텍처의 핵심 요소는 무엇인가?
• RQ3 기존 방법과 비교할 때 이론적 보장과 실제 문제에서의 성능 측면에서 제안된 방법은 어떠한가?
• RQ4 이 프레임워크는 일반적인 확률적 및 결정적 제약 조건 최적화 문제의 특수 케이스로 적용될 수 있는가?
• RQ5 이중 변수의 동역학과 시간에 따라 변화하는 페널티 파라미터가 수렴성과 제약 조건 이행에 미치는 영향은 무엇인가?

주요 결과

• 제안된 알고리즘은 $O(\sqrt{T})$의 기대 위험과 $O(\sqrt{T})$의 기대 제약 위반을 달성하며, 표준 OCO의 최고 성능 경계와 일치한다.
• 고확률적으로 위험과 제약 위반은 $O(\sqrt{T}\log T)$ 이하로 제한되며, 더 강력한 확률적 보장을 제공한다.
• 이 알고리즘은 장기 제약 조건이 있는 OCO, 확률적 제약 조건 최적화, 결정적 제약 조건 문제 등 특수 케이스로 적용 가능하다.
• 실제 데이터 센터 스케줄링 문제에 대한 실험을 통해 알고리즘의 성능가 높은 비용과 제약 조건 이행을 보여주며, 기준 대비 경쟁력 있는 성능을 확보했다.
• 이론적 분석을 통해 제약 집합이 알려지지 않았고 투영이 잘 정의되지 않은 상황에서도 위험과 제약 위반의 비선형 증가가 유지됨을 증명했다.
• 시간에 따라 변화하는 페널티 파라미터 $V=\sqrt{T}$와 이중 변수 업데이트를 통해 이중 드리프트와 라플라스 함수가 시간이 지남에 따라 적절히 감소함을 보장한다.