[논문 리뷰] A Low Complexity Algorithm with $O(\sqrt{T})$ Regret and $O(1)$ Constraint Violations for Online Convex Optimization with Long Term Constraints

Hao Yu, Michael J. Neely|arXiv (Cornell University)|2016. 04. 08.

Advanced Bandit Algorithms Research참고 문헌 18인용 수 19

한 줄 요약

이 논문은 장기적 기능 제약 조건을 가진 문제에서 $O(√T)$의 손실과 $O(1)$의 제약 위반을 달성하는 새로운 저복잡도 온라인 볼록 최적화 알고리즘을 제안한다. 적응형 페널티 파라미터를 갖는 이중 평균 기반 업데이트 규칙을 도입함으로써, 비용이 많이 드는 투영을 피하면서도 누적 제약 위반이 유한하게 유지되며, 이전 방법들이 점점 커지는 제약 위반을 겪는 것과는 대조적으로 뛰어난 성능을 발휘한다.

ABSTRACT

This paper considers online convex optimization over a complicated constraint set, which typically consists of multiple functional constraints and a set constraint. The conventional online projection algorithm (Zinkevich, 2003) can be difficult to implement due to the potentially high computation complexity of the projection operation. In this paper, we relax the functional constraints by allowing them to be violated at each round but still requiring them to be satisfied in the long term. This type of relaxed online convex optimization (with long term constraints) was first considered in Mahdavi et al. (2012). That prior work proposes an algorithm to achieve $O(\sqrt{T})$ regret and $O(T^{3/4})$ constraint violations for general problems and another algorithm to achieve an $O(T^{2/3})$ bound for both regret and constraint violations when the constraint set can be described by a finite number of linear constraints. A recent extension in \citet{Jenatton16ICML} can achieve $O(T^{\max\{θ,1-θ\}})$ regret and $O(T^{1-θ/2})$ constraint violations where $θ\in (0,1)$. The current paper proposes a new simple algorithm that yields improved performance in comparison to prior works. The new algorithm achieves an $O(\sqrt{T})$ regret bound with $O(1)$ constraint violations.

연구 동기 및 목표

• 복잡한 제약 조건이 존재할 경우 투영 기반 온라인 볼록 최적화의 높은 계산 비용을 해결하기 위해.
• 전력망이나 네트워크 스케줄링과 같은 복잡한 제약 집합을 가진 시스템에서 온라인 알고리즘의 실용적 구현을 가능하게 하기 위해.
• 개별 라운드에서 제약을 위반하더라도 시간이 지남에 따라 손실은 하한선을 이루고 제약 위반이 유한하게 유지되는 하위선형 손실을 달성하기 위해.
• 복잡한 제약 집합에 대한 반복적 투영을 피하면서도 강력한 이론적 성능 보장을 유지하는 방법을 개발하기 위해.
• 기존 알고리즘들이 $O(T^{3/4})$ 또는 $O(T^{2/3})$의 제약 위반 범위로 인해 악화되는 문제를 개선하기 위해.

제안 방법

• 장기적 제약 위반을 추적하기 위해 이중 변수 벡터를 유지하는 이중 평균 기반 업데이트 규칙을 도입한다.
• 손실과 제약 위반의 균형을 맞추기 위해 시간에 따라 변화하는 페널티 파라미터를 사용하며, 이는 $\Theta(\sqrt{t})$의 비율로 증가한다.
• 복잡한 기능 제약 조건의 투영을 피하기 위해 기저 볼록 집합 $\mathcal{X}_0$에 대한 단순한 투영만 수행한다.
• 미리 알고 있지 않은 시간 범위 $T$를 다루기 위해 듀얼링 트릭(doubling trick)을 적용한다.
• 적절히 선택된 스텝 사이즈와 페널티 업데이트 규칙을 사용한 하위기울기 강하(subgradient descent)를 통해 손실 한계를 유도한다.
• 적응형 이중 변수 업데이트를 통해 제약 위반이 상수로 유한하게 유지됨을 보장한다.

실험 결과

연구 질문

• RQ1 저복잡도 온라인 알고리즘이 장기적 제약 조건이 있는 온라인 볼록 최적화에서 $O(\sqrt{T})$ 손실과 $O(1)$ 제약 위반을 달성할 수 있는가?
• RQ2 복잡한 기능 제약 집합에 대한 비용이 많이 드는 투영을 피하면서도 강력한 이론적 성능을 유지하는 것이 가능한가?
• RQ3 제안된 알고리즘의 성능은 $O(T^{3/4})$ 또는 $O(T^{2/3})$의 제약 위반을 보이는 기존 방법과 비교해 어떻게 되는가?
• RQ4 알고리즘이 시간 범위 $T$의 사전 지식 없이도 구현될 수 있는가?
• RQ5 적응형 페널티 파라미터 체계가 하위선형 손실과 유한한 제약 위반을 모두 보장하는가?

주요 결과

• 제안된 알고리즘은 온라인 볼록 최적화에서 최고의 알려진 한계인 $O(\sqrt{T})$ 손실을 달성한다.
• 제약 위반이 상수로 유한하게 유지되어 $O(1)$의 위반 수준을 달성하였으며, 이는 이전의 $O(T^{3/4})$ 및 $O(T^{2/3})$ 한계에 비해 상당한 개선이다.
• 각 라운드에서 복잡한 볼록 프로그래밍을 해결하는 대신 기저 집합 $\mathcal{X}_0$에만 투영함으로써 계산 비용을 크게 감소시켰다.
• 수치 실험 결과, $T=5000$일 때 1000번의 독립 시험에서 알고리즘이 낮은 손실과 유한한 제약 위반을 유지하는 것으로 확인되었다.
• 손실 측면에선 다른 $O(\sqrt{T})$ 손실 알고리즘과 유사한 성능를 보였지만, 제약 위반 측면에선 훨씬 뛰어난 성능를 발휘하였다.
• 듀얼링 트릭을 통해 알고리즘이 $T$의 사전 지식 없이도 작동할 수 있으며, 동일한 이론적 한계를 유지한다.