[논문 리뷰] Online Convex Optimization with Time-Varying Constraints

Michael J. Neely, Hao Yu|arXiv (Cornell University)|2017. 02. 15.

Advanced Bandit Algorithms Research참고 문헌 10인용 수 71

한 줄 요약

한 줄 요약: 이 논문은 Lyapunov drift와 가상 큐를 사용하여 시간 가변 제약이 있는 온라인 볼록 최적화를 해결하는 온라인 알고리즘을 제시하며, common-subset Slater 조건에서 O(1/ε^2) 수렴 속도를 달성하고 확률적 i.i.d. 설정으로 확장한다.

ABSTRACT

This paper considers online convex optimization with time-varying constraint functions. Specifically, we have a sequence of convex objective functions $\{f_t(x)\}_{t=0}^{\infty}$ and convex constraint functions $\{g_{t,i}(x)\}_{t=0}^{\infty}$ for $i \in \{1, ..., k\}$. The functions are gradually revealed over time. For a given $ε>0$, the goal is to choose points $x_t$ every step $t$, without knowing the $f_t$ and $g_{t,i}$ functions on that step, to achieve a time average at most $ε$ worse than the best fixed-decision that could be chosen with hindsight, subject to the time average of the constraint functions being nonpositive. It is known that this goal is generally impossible. This paper develops an online algorithm that solves the problem with $O(1/ε^2)$ convergence time in the special case when all constraint functions are nonpositive over a common subset of $\mathbb{R}^n$. Similar performance is shown in an expected sense when the common subset assumption is removed but the constraint functions are assumed to vary according to a random process that is independent and identically distributed (i.i.d.) over time slots $t \in \{0, 1, 2, \ldots\}$. Finally, in the special case when both the constraint and objective functions are i.i.d. over time slots $t$, the algorithm is shown to come within $ε$ of optimality with respect to the best (possibly time-varying) causal policy that knows the full probability distribution.

연구 동기 및 목표

• 시간 가변 제약 함수로 온라인 볼록 최적화를 동기 부여하고 형식화한다.
• Slater 조건 하에서 공통 가능한 해집합 내에서 가장 좋은 고정 결정에 경쟁하는 온라인 알고리즘을 개발한다.
• 결정론적 및 확률적(i.i.d.) 설정에서 수렴 보장을 특징짓는다.
• Lagrange 승수의 필요 없이 간단한 투영 및 가상 큐를 사용하는 구현을 제공한다.

제안 방법

• 각 제약에 대해 Q_i(t) 가상 큐와 공통 가능한 feasible subset을 도입한다.
• Lyapunov 드리프트를 가중 제곱 규칙화 및 하위 미분 용어와 함께 결합한 drift-plus-penalty 목표를 공식화한다.
• 선형화된 목표에 제곱형 페널티를 더한 한 슬롯당 의사결정 규칙을 도출하여 X에 투영하는 형태(X_t = P_X[X_{t-1} + W_t/(2α)])로 귀결된다.
• 업데이트 규칙: Q_i(t+1) = max{Q_i(t) + g_{t-1,i}(X_{t-1}) + g'_{t-1,i}(X_{t-1})^T(X_t - X_{t-1}), 0}.
• 드리프트, 큐 길이 및 목표/제약 간의 격차에 대한 유한한 경계를 제공하며, 매개변수 V와 α가 트레이드오프를 제어한다(V는 목표 오차를, α는 안정성을 제어한다).
• 프로젝션 기반 구현과의 등가를 보이고 성능 경계를 확립하는 핵심 보조정리와 정정정리를 도출한다.

실험 결과

연구 질문

• RQ1 시간 가변 제약 하에서 공통 가능한 해집합 내에서 최적 고정 결정에 대한 ε 근사치를 온라인 알고리즘이 달성할 수 있는가?
• RQ2 결정론적 Slater 조건하에서 시간 가변 제약을 갖는 온라인 볼록 최적화의 수렴 속도는 무엇인가?
• RQ3 확률적(i.i.d.) 제약 및 목표 모델이 달성 가능한 성능 보장에 어떤 영향을 미치는가?
• RQ4 공통 feasible 집합 A에 대한 명시적 지식 없이도 간단한 투영으로 온라인 알고리즘을 구현할 수 있는가?
• RQ5 다양한 모델링 가정(결정론적 대 i.i.d.)에서 가상 큐와 후회에 대한 경계는 무엇인가?

주요 결과

• 결정론적 Slater 조건과 공통 하위집합 가정 하에 온라인 알고리즘은 O(ε) 근사와 수렴 시간 O(1/ε^2)을 달성한다.
• 임의의 목표 동역학을 갖는 i.i.d. 제약 과정 하에서 알고리즘은 기대값에서 O(ε) 근사를 달성하며 수렴 시간은 O(1/ε^2)이다.
• 목표 함수와 제약 함수가 모두 i.i.d.인 경우 알고리즘은 분포를 아는 최적의 정책에 대해 ε 이내의 성능을 달성한다.
• 그 방법은 Lagrange 승수에 대한 지식이 필요 없고 X에 대한 단일 슬롯 투영으로 구현 가능하다.
• 큐 경계는 적절한 매개변수 선택 하에서 ||Q(t)||가 O(V)로 증가한다는 것을 보이고, 드리프트, 큐 길이 및 목표/제약 성능 간의 관계를 분석한다.
• 무제한 조건이 없는 경우에 대해 하한이 맞춰지며, 온라인 설정에서 거의 최적에 가까운 수렴 속도를 보여준다.