[논문 리뷰] Regret and Cumulative Constraint Violation Analysis for Online Convex Optimization with Long Term Constraints

Xinlei Yi, Xiuxian Li외 4명|arXiv (Cornell University)|2021. 06. 09.

Advanced Bandit Algorithms Research참고 문헌 34인용 수 7

한 줄 요약

이 논문은 장기 제약 조건을 가진 온라인 볼록 최적화를 위한 두 가지 새로운 알고리즘을 제안한다. 여기서 제약 조건은 일시적으로 위반될 수 있지만, 시간에 따라 누적적으로 만족되어야 한다. 사용자가 정의한 조정 매개변수를 도입하고 강한 볼록성의 특성을 활용함으로써, 개선된 리그레트 및 누적 제약 위반 한계를 달성한다. 일반적인 비교자 순서에 대해 최적의 O(√(T(1+P_T))) 리그레트와 O(√T) 누적 위반을 달성한다.

ABSTRACT

This paper considers online convex optimization with long term constraints, where constraints can be violated in intermediate rounds, but need to be satisfied in the long run. The cumulative constraint violation is used as the metric to measure constraint violations, which excludes the situation that strictly feasible constraints can compensate the effects of violated constraints. A novel algorithm is first proposed and it achieves an $\mathcal{O}(T^{\max\{c,1-c\}})$ bound for static regret and an $\mathcal{O}(T^{(1-c)/2})$ bound for cumulative constraint violation, where $c\in(0,1)$ is a user-defined trade-off parameter, and thus has improved performance compared with existing results. Both static regret and cumulative constraint violation bounds are reduced to $\mathcal{O}(\log(T))$ when the loss functions are strongly convex, which also improves existing results. %In order to bound the regret with respect to any comparator sequence, In order to achieve the optimal regret with respect to any comparator sequence, another algorithm is then proposed and it achieves the optimal $\mathcal{O}(\sqrt{T(1+P_T)})$ regret and an $\mathcal{O}(\sqrt{T})$ cumulative constraint violation, where $P_T$ is the path-length of the comparator sequence. Finally, numerical simulations are provided to illustrate the effectiveness of the theoretical results.

연구 동기 및 목표

• 임시 제약 위반을 허용하지만 누적 위반을 최소화해야 하는 장기 제약 조건 하에서의 온라인 볼록 최적화 문제에 도전한다.
• 보상된 효과를 배제하는 더 엄격한 지표인 누적 제약 위반을 도입함으로써, 기존의 리그레트 및 제약 위반 한계를 향상시킨다.
• 일반적인 볼록 및 강한 볼록 손실 함수 하에서 임의의 비교자 순서(정적 및 동적 순서 포함)에 대해 최적의 리그레트를 달성하는 알고리즘을 개발한다.
• 기존 결과보다 더 날카로운 이론적 한계를 확립하며, 특히 강한 볼록성의 경우 로그 리그레트를 달성하여 이전의 O(√T) 결과보다 크게 향상된다.

제안 방법

• 시간에 따라 변하는 스텝 사이즈와 페널티 매개변수를 사용하는 새로운 알고리즘을 제안하여 리그레트와 누적 제약 위반 간의 균형을 조절하며, 사용자가 정의한 조정 매개변수 c ∈ (0,1)를 포함한다.
• 이중 기반 업데이트 규칙을 도입하여 제약 위반을 페널티 항을 통해 최적화에 통합함으로써, 라운드 별로의 타당성을 요구하지 않으면서도 장기적으로 타당성을 확보한다.
• 적응형 스텝 사이즈 α_t = 2/T^c 와 페널티 가중치 γ_t = T^{c/2}를 사용하는 투영 기반 업데이트를 적용하여 수렴성과 제약 위반 동역학을 제어한다.
• 임의의 비교자 순서에 대해 최적의 리그레트를 달성하기 위해, 다양한 스텝 사이즈를 가진 다수의 온라인 경사 하강법 인스턴스와 전문가 추적 기법을 사용하는 두 번째 알고리즘을 설계한다. 이로써 O(√(T(1+P_T))) 리그레트를 달성한다.
• 비교자 순서의 변동성을 측정하기 위해 경로 길이 P_T = ∑‖y_{t+1} - y_t‖를 사용하여, 동적 복잡성에 따라 스케일링되는 리그레트 한계를 유도한다.
• 손실 함수의 강한 볼록성을 활용하여 리그레트 한계를 O(log T)로 더욱 강화함으로써, 이전의 O(√T) 결과보다 크게 향상된다.

실험 결과

연구 질문

• RQ1 장기 제약 조건 하에서, 기존 방법보다 개선된 한계를 가지며, 부분선형 리그레트와 누적 제약 위반을 달성할 수 있는 온라인 볼록 최적화 알고리즘을 설계할 수 있는가?
• RQ2 사용자가 정의한 조정 매개변수 c 가 제안된 알고리즘에서 리그레트와 누적 제약 위반 간의 균형에 어떤 영향을 미치는가?
• RQ3 제안된 알고리즘이 비교자 순서의 경로 길이 P_T 에 대해 최적의 리그레트 스케일링을 달성할 수 있는가?
• RQ4 손실 함수가 강한 볼록일 경우 어떤 성능 향상이 가능하며, 이러한 조건 하에서 로그 리그레트를 달성할 수 있는가?
• RQ5 보상 효과를 배제하는 누적 제약 위반 지표는 표준 위반 지표에 비해 더 견고하고 의미 있는 성능 평가를 어떻게 가능하게 하는가?

주요 결과

• 첫 번째 알고리즘은 볼록 손실 함수에 대해 정적 리그레트에 대해 O(T^{max{c,1−c}}) 한계와 누적 제약 위반에 대해 O(T^{(1−c)/2}) 한계를 달성하며, c ∈ (0,1)은 사용자가 정의한 조정 매개변수이다.
• 손실 함수가 강한 볼록일 경우, 리그레트와 누적 제약 위반 모두 O(log T)로 감소하여 기존의 O(√T) 결과보다 크게 향상된다.
• 두 번째 알고리즘은 임의의 비교자 순서에 대해 최적의 O(√(T(1+P_T))) 리그레트와 O(√T) 누적 제약 위반 한계를 달성하며, 상수 요소를 제외한 이론적 하한선과 일치한다.
• 온라인 선형 및 이차 프로그래밍에서의 수치 시뮬레이션을 통해, 알고리즘 1이 누적 손실과 누적 제약 위반 측면에서 기존 방법보다 뛰어나며, 특히 강한 볼록성 조건 하에서 뚜렷한 우수성을 보였다.
• 누적 제약 위반 지표는 엄밀히 타당한 제약 조건에서의 보상 효과를 효과적으로 방지하여, 더 보수적이고 신뢰할 수 있는 성능 평가를 가능하게 한다.
• 제안된 알고리즘은 시뮬레이션에서 일관된 우수성을 보였으며, 알고리즘 1은 Yu & Neely (2020), Yuan & Lamperski (2018) 및 기타 연구자들의 방법보다 낮은 누적 손실과 제약 위반을 기록했다.