[논문 리뷰] The Online Saddle Point Problem and Online Convex Optimization with Knapsacks

Adrian Rivera, He Wang외 1명|arXiv (Cornell University)|2018. 06. 21.

Advanced Bandit Algorithms Research참고 문헌 58인용 수 10

한 줄 요약

이 논문은 두 플레이어가 제로섬의 볼록-볼록형 게임에서 참여하는 온라인 사다리점(Online Saddle Point, OSP) 문제를 소개한다. 이는 온라인 볼록 최적화(Online Convex Optimization, OCO)의 일반화이다. SP-FTL 알고리즘을 제안하여 일반적인 경우에 $\tilde{O}(\sqrt{T})$의 SP-Regret를 달성하고, 강한 볼록-볼록인 경우에 $O(\log T)$를 달성한다. 이는 온라인 볼록 최적화와 컨테이너(OCOwK)에 응용되며, 원본-쌍대 방법을 통해 $O(\sqrt{T})$의 오차를 달성한다.

ABSTRACT

We study the online saddle point problem, an online learning problem where at each iteration a pair of actions need to be chosen without knowledge of the current and future (convex-concave) payoff functions. The objective is to minimize the gap between the cumulative payoffs and the saddle point value of the aggregate payoff function, which we measure using a metric called "SP-Regret". The problem generalizes the online convex optimization framework but here we must ensure both players incur cumulative payoffs close to that of the Nash equilibrium of the sum of the games. We propose an algorithm that achieves SP-Regret proportional to $\sqrt{\ln(T)T}$ in the general case, and $\log(T)$ SP-Regret for the strongly convex-concave case. We also consider the special case where the payoff functions are bilinear and the decision sets are the probability simplex. In this setting we are able to design algorithms that reduce the bounds on SP-Regret from a linear dependence in the dimension of the problem to a extit{logarithmic} one. We also study the problem under bandit feedback and provide an algorithm that achieves sublinear SP-Regret. We then consider an online convex optimization with knapsacks problem motivated by a wide variety of applications such as: dynamic pricing, auctions, and crowdsourcing. We relate this problem to the online saddle point problem and establish $O(\sqrt{T})$ regret using a primal-dual algorithm.

연구 동기 및 목표

• 두 플레이어가 수익 함수를 사전에 알지 못한 채, 순차적인 볼록-볼록형 게임에서 공동으로 행동을 선택하는 온라인 사다리점(OSP) 문제를 체계화하고 분석하는 것.
• SP-Regret를 정의하고 최소화하여 누적 수익과 집합 게임의 사다리점 값 간의 격차를 측정하는 것.
• 기존 OCO 알고리즘들이 OSP 환경에서 가지는 근본적 한계를 규명하여, 비선형 개인적 오차가 비선형 SP-Regret를 보장하지는 않음을 보여주는 것.
• 라그랑주 이중성과 원본-쌍대 방법을 활용하여 OSP 프레임워크를 온라인 볼록 최적화와 컨테이너(OCOwK) 문제로 확장하는 것.
• 완전 정보 및 밴딧 피드백 환경에서 SP-FTL 및 OGDA 알고리즘을 설계하고 평가하여, 하위선형 SP-Regret 성능을 입증하는 것.

제안 방법

• SP-FTL 알고리즘은 두 플레이어의 공동 행동 공간에서 이전 수익 함수 기록을 기반으로 한 후행자 전략(Follow-the-Leader)을 사용하여 행동을 선택한다.
• 단순체 결정 집합을 가진 이차형 상황에서는, 라그랑주 이중성의 구조를 활용하여 차원에 대한 로그적 의존도를 도입한다.
• OCOwK 문제에 대해 원본-쌍대 알고리즘을 적용하여, 컨테이너 제약 조건을 온라인 기울기 상승을 통한 이중 변수 갱신으로 변환한다.
• 밴딧 피드백 상황에서는 무작위 편향을 사용해 기울기를 추정함으로써, 전체 함수 지식 없이도 하위선형 SP-Regret를 달성할 수 있도록 한다.
• 이론적 분석은 오차 분해와 강한 볼록성 가정을 활용하여 SP-Regret의 경계를 유도하며, $\tilde{O}(\sqrt{T})$ 및 $O(\log T)$의 결과를 도출한다.
• 수치적 검증은 25회의 시행 동안 총 수익 대 최적 기준치 비율을 측정하여 SP-FTL 및 OGDA 알고리즘의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 기존 OCO 알고리즘이 하위선형 개인적 오차를 달성하더라도, OSP 문제에서 하위선형 SP-Regret를 달성할 수 있는가?
• RQ2 일반적인 볼록-볼록 OSP 설정에서 달성 가능한 최적의 SP-Regret 경계는 무엇이며, 문제의 구조에 따라 어떻게 달라지는가?
• RQ3 OSP 프레임워크는 어떻게 OCOwK 문제에 적용될 수 있으며, 원본-쌍대 방법을 통해 어떤 오차 경계를 달성할 수 있는가?
• RQ4 단순체 제약 조건이 있는 이차형 상황에서 차원에 대한 선형 의존도에서 로그적 의존도로 SP-Regret를 감소시킬 수 있는가?
• RQ5 OSP 환경에서 밴딧 피드백 하에서 어떤 성능 보장을 달성할 수 있는가?

주요 결과

• SP-FTL 알고리즘은 일반적인 볼록-볼록 OSP 문제에서 $\tilde{O}(\sqrt{T})$의 SP-Regret를 달성하여 이전의 OCO 기반 접근보다 향상됨을 보였다.
• 강한 볼록-볼록인 경우, SP-FTL는 $O(\log T)$의 SP-Regret를 달성하여 더 빠른 수렴을 보였다.
• 모든 OCO 알고리즘은 $o(T)$의 개인적 오차를 가질 수 있지만, 최악의 경우 $\tilde{O}(T)$의 SP-Regret를 겪을 수 있으며, 이는 OCO가 OSP 환경에서 가지는 근본적 한계를 보여준다.
• 단순체 결정 집합을 가진 이차형 수익 함수에서는 SP-Regret가 차원에 대해 로그적으로 증가하며, 일반적인 경우의 선형 의존도를 감소시킨다.
• 밴딧 피드백 하에서도 제안된 알고리즘이 하위선형 SP-Regret를 달성하여, 완전 정보 설정을 넘어서는 프레임워크 확장을 가능하게 하였다.
• OCOwK 응용에서 원본-쌍대 방법은 $O(\sqrt{T})$의 오차를 달성하였으며, 수치적 결과는 OGDA가 초기 성능은 열 劣하나 수렴 속도에서 SP-FTL를 능가함을 확인하였다.