[논문 리뷰] Online convex optimization for cumulative constraints

Jianjun Yuan, Andrew Lamperski|arXiv (Cornell University)|2018. 02. 19.

Advanced Bandit Algorithms Research참고 문헌 28인용 수 18

한 줄 요약

이 논문은 누적 제약 위반의 제곱 합을 최소화하는 두 가지 온라인 볼록 최적화 알고리즘을 제안한다. 이는 $\sum_{t=1}^T ([g(x_t)]_+)^2 = O(T^{1-\beta})$ 를 만족하며 $\beta \in (0,1)$ 이고, 동시에 비선형적 일치도를 유지한다. 이 방법들은 수정된 보조 라그랑주 프레임워크를 사용하여 제약 조건을 정밀하게 추적함으로써, 단계별 위반 값이 유한하고, 이전 연구 대비 볼록 및 강볼록 설정 모두에서 개선된 일치도 경계를 확보한다.

ABSTRACT

We propose the algorithms for online convex optimization which lead to cumulative squared constraint violations of the form $\sum\limits_{t=1}^T\big([g(x_t)]_+\big)^2=O(T^{1-β})$, where $β\in(0,1)$. Previous literature has focused on long-term constraints of the form $\sum\limits_{t=1}^Tg(x_t)$. There, strictly feasible solutions can cancel out the effects of violated constraints. In contrast, the new form heavily penalizes large constraint violations and cancellation effects cannot occur. Furthermore, useful bounds on the single step constraint violation $[g(x_t)]_+$ are derived. For convex objectives, our regret bounds generalize existing bounds, and for strongly convex objectives we give improved regret bounds. In numerical experiments, we show that our algorithm closely follows the constraint boundary leading to low cumulative violation.

연구 동기 및 목표

• 누적 제곱 제약 위반을 다루는 온라인 볼록 최적화 문제를 해결하기 위해, 장기 평균보다 더 엄격한 페널티를 도입한다.
• 장기 평균에 영향을 받는 취약성으로 인한 상쇄 효과를 방지하기 위해, 제약 위반 값 $[g(x_t)]_+$ 에 대한 단계별 경계를 제공한다.
• 볼록 및 강볼록 목표 함수에 대해 온라인 환경에서 일치도 및 제약 위반 경계를 향상시킨다.
• 제약 조건 경계를 정밀하게 따라가며 누적 위반을 최소화하면서 낮은 일치도를 유지하는 알고리즘을 설계한다.
• 기존 OCO 프레임워크를 개선하여 클리핑 또는 제곱 제약 페널티를 다룰 수 있도록 확장함으로써, 엄격한 타당성 요구 조건을 가진 실시간 시스템에 적합하게 한다.

제안 방법

• 온라인 업데이트에서 목적 함수 최소화와 제약 조건 이행을 균형 잡기 위해 수정된 보조 라그랑주 함수를 도입한다.
• 이중 변수와 원천 변수에 대해 두 가지 시간 척도 업데이트 규칙을 적용하며, 적응형 단계 크기를 사용한다.
• 제약 위반 값 $[g(x_t)]_+$ 에 클리핑 메커니즘을 적용하여 개별 단계의 위반 값이 $O(T^{-1/6})$ 이내로 제한되도록 한다.
• 비용이 많이 드는 제약 조건 최적화를 피하기 위해 간소화된 폐형 근사치를 통한 투영 유사 업데이트를 사용한다.
• 강볼록 케이스에서는 목적 함수의 강볼록성을 활용하여 $O(\log T)$ 의 일치도를 달성한다.
• 사용자 정의 매개변수 $\beta \in (0,1)$ 를 사용하여 일치도와 제약 위반 간의 상호 보완적 트레이드오프를 동적으로 균형 잡는다.

실험 결과

연구 질문

• RQ1 온라인 볼록 최적화 알고리즘이 누적 제곱 제약 위반 $\sum_{t=1}^T ([g(x_t)]_+)^2 = O(T^{1-\beta})$ 을 달성할 수 있는가?
• RQ2 장기 평균에 영향을 받지 않는 방식으로 제약 위반 값 $[g(x_t)]_+$ 를 단계별로 제한할 수 있는가?
• RQ3 누적 제곱 제약 페널티 하에서 강볼록 목표 함수에 대해 향상된 일치도 경계를 달성할 수 있는가?
• RQ4 제안된 알고리즘이 이전 방법 대비 제약 조건 추적 및 일치도 성능에서 어떻게 비교되는가?
• RQ5 노이즈가 있거나 시간에 따라 변화하는 제약 조건을 다룰 수 있도록 이 프레임워크를 확장할 수 있는가? 그리고 유사한 이론적 보장이 유지되는가?

주요 결과

• 볼록 케이스에서는 $\sum_{t=1}^T ([g(x_t)]_+)^2 = O(T^{1-\beta})$ 와 $\sum_{t=1}^T [g(x_t)]_+ = O(T^{1-\beta/2})$ 를 달성하며, 단계별 위반 값은 $O(T^{-1/6})$ 이내로 제한된다.
• 균형 상태($\beta = 0.5$)에서는 일치도와 제곱 제약 위반 모두 $O(\sqrt{T})$ 의 비율로 증가한다.
• 강볼록 목표 함수의 경우, 알고리즘은 $O(\log T)$ 의 일치도와 $O(\sqrt{\log T \cdot T})$ 의 누적 제약 위반을 달성하며, 표준 OCO 일치도 비율과 일치한다.
• 수치 실험 결과, 알고리즘이 제약 조건 경계를 정밀하게 따라가며, 기준 방법 대비 누적 위반을 크게 감소시킴을 보였다.
• 이중 스토하스틱 행렬 근사 문제에서 제안된 강볼록 알고리즘(Our-Strong)은 일치도 및 제약 위반 양면에서 거의 최적의 성능을 달성했다.
• 경제적 배분 문제에서 알고리즘은 근사적으로 0에 가까운 단계별 제약 위반을 유지하면서, 오프라인 최적 전략에 가까운 목적 함수 비용을 달성했다.