[논문 리뷰] Adaptive Algorithms for Online Convex Optimization with Long-term Constraints

Rodolphe Jenatton, Jim Huang외 1명|arXiv (Cornell University)|2015. 12. 23.

Advanced Bandit Algorithms Research참고 문헌 21인용 수 10

한 줄 요약

이 논문은 장기적 제약 조건을 갖는 온라인 볼록 최적화 문제를 위한 적응형 온라인 경사 하강 알고리즘을 제안한다. 여기서 제약 조건은 각 라운드에서 만족되어야 하는 것이 아니라 시간에 따라 누적적으로 만족되어야 한다. 이 방법은 손실에 대해 $\mathcal{O}(T^{\max\{\beta,1-\beta\}})$의 리그레트 한계와 제약 위반에 대해 $\mathcal{O}(T^{1-\beta/2})$의 리그레트 한계를 달성하며, 이는 이전 연구에 비해 $T$의 사전 지식이 필요 없고, 비용이 많이 드는 투영을 피하는 사다리점 공식화를 통해 향상된다.

ABSTRACT

We present an adaptive online gradient descent algorithm to solve online convex optimization problems with long-term constraints , which are constraints that need to be satisfied when accumulated over a finite number of rounds T , but can be violated in intermediate rounds. For some user-defined trade-off parameter $β$ $\in$ (0, 1), the proposed algorithm achieves cumulative regret bounds of O(T^max{$β$,1--$β$}) and O(T^(1--$β$/2)) for the loss and the constraint violations respectively. Our results hold for convex losses and can handle arbitrary convex constraints without requiring knowledge of the number of rounds in advance. Our contributions improve over the best known cumulative regret bounds by Mahdavi, et al. (2012) that are respectively O(T^1/2) and O(T^3/4) for general convex domains, and respectively O(T^2/3) and O(T^2/3) when further restricting to polyhedral domains. We supplement the analysis with experiments validating the performance of our algorithm in practice.

연구 동기 및 목표

• 각 라운드에서가 아니라 전체 시간 범위 동안 제약 조건이 만족되어야 하는 온라인 볼록 최적화 문제를 다루기 위해.
• 복잡한 제약 집합에 대한 각 라운드의 투영을 피하기 위해 더 단순한 둘러싸는 집합을 사용하는 알고리즘을 개발하기 위해.
• 사전에 라운드 수 $T$를 알지 못해도 손실과 누적 제약 위반에 대해 비선형 리그레트 한계를 유도하기 위해.
• 특히 Mahdavi 등(2012)의 결과를 개선하여 일반 및 다각형 볼록 도메인 모두에서 기존의 리그레트 한계를 향상시키기 위해.

제안 방법

• 손실과 장기적 제약 조건을 동시에 최적화하기 위해 사다리점 공식화를 사용하며, 누적 타당성을 강제하기 위해 이중 변수를 도입한다.
• 누적 기울기 노름의 역수에 비례하는 적응형 스텝 크기 $\eta_t$를 사용하여 수렴 속도를 높인다.
• 반복값을 복잡한 제약 집합 $\mathcal{X}$ 가 아닌, $\mathcal{X}$ 를 포함하는 볼록 둘러싸는 집합 $\mathcal{B} \supseteq \mathcal{X}$ 로 제한한다.
• 이중 변수 업데이트를 제어하기 위해 페널티 함수 $\theta_t \phi(\lambda)$ 를 도입하며, $\phi$ 는 안정성과 비선형 리그레트를 보장하기 위해 선택된다.
• 미분 부등식 조건을 활용하여 이중 변수와 스텝 크기의 한계를 도출함으로써, 손실과 제약 위반 간의 최적 균형을 이끌어낸다.
• 알고리즘은 볼록이고 1-강력 볼록인 페널티 함수 $\phi$ 를 사용하며, 이중 업데이트에는 페널티 함수의 Fenchel 쌍대 함수의 Moreau 매개변수를 포함한다.

실험 결과

연구 질문

• RQ1 사전에 $T$ 를 알지 못해도 손실과 장기적 제약 위반에 대해 비선형 리그레트를 달성할 수 있는 적응형 온라인 알고리즘을 설계할 수 있는가?
• RQ2 복잡한 제약 집합에 대한 각 라운드의 고비용 투영이 필요 없이 강력한 리그레트 보장을 유지할 수 있는가?
• RQ3 장기적 제약 조건 설정에서 손실 리그레트와 제약 위반 리그레트 사이의 최적 균형은 무엇인가?
• RQ4 기존 연구에서의 최선의 리그레트 한계인 $\mathcal{O}(T^{1/2})$ 와 $\mathcal{O}(T^{3/4})$ 를 초월할 수 있는가?
• RQ5 적응형 스텝 크기와 페널티 함수는 수렴성과 타당성에 어떤 영향을 미치는가?

주요 결과

• 제안된 알고리즘은 손실 함수에 대해 누적 리그레트 $\mathcal{O}(T^{\max\{\beta,1-\beta\}})$ 를 달성하며, 일반 볼록 도메인에서 이전 최고의 한계인 $\mathcal{O}(T^{1/2})$ 를 초월한다.
• 제약 위반에 대해서는 $\mathcal{O}(T^{1-\beta/2})$ 의 리그레트를 달성하며, 이는 이전 최고의 한계인 $\mathcal{O}(T^{3/4})$ 를 초월한다.
• 이론적 리그레트 한계가 열악한 경우에도 실질적으로 표준 온라인 경사 하강법보다 성능이 뛰어나며, 이는 더 큰 효과적 스텝 크기가 수렴 속도를 가속화하기 때문이다.
• ijcnn1 및 covtype 데이터셋에 대한 실험 결과, 알고리즘이 제약 집합 내에서 타당성을 유지하고 기준 OGD보다 낮은 누적 리그레트를 달성한다.
• 제약 집합이 다각형이 아니더라도 알고리즘이 효과를 유지한다. 이는 더 단순한 둘러싸는 집합 $\mathcal{B}$ 내에서 작동함으로써 직접적인 투영을 피하기 때문이다.
• 분석 결과, 페널티 함수 $\phi$ 의 선택이 리그레트 한계에 상당한 영향을 미치며, 제곱형 증가와 강력 볼록성은 안정성에 필수적이다.