[논문 리뷰] Beyond Online Balanced Descent: An Optimal Algorithm for Smoothed Online Optimization

Gautam Goel, Yiheng Lin외 2명|arXiv (Cornell University)|2019. 05. 29.

Optimization and Search Problems참고 문헌 33인용 수 24

한 줄 요약

이 논문은 강한 볼록성 있는 히팅 비용과 제곱 $\varepsilon_2$-노름 이동 비용을 갖는 매끄러운 온라인 볼록 최적화(SOCO)를 위한 두 가지 새로운 알고리즘, 즉 탐욕적 OBD(G-OBD)와 정규화된 OBD(R-OBD)를 제안한다. 이는 경쟁 비율에 대해 새로운 $\Omega(m^{-1/2})$ 하한을 증명하고, G-OBD와 R-OBD가 모두 최적의 $O(m^{-1/2})$ 경쟁 비율을 달성함으로써 이전 알고리즘과 이론적 한계 사이의 격차를 메운다.

ABSTRACT

We study online convex optimization in a setting where the learner seeks to minimize the sum of a per-round hitting cost and a movement cost which is incurred when changing decisions between rounds. We prove a new lower bound on the competitive ratio of any online algorithm in the setting where the costs are $m$-strongly convex and the movement costs are the squared $\ell_2$ norm. This lower bound shows that no algorithm can achieve a competitive ratio that is $o(m^{-1/2})$ as $m$ tends to zero. No existing algorithms have competitive ratios matching this bound, and we show that the state-of-the-art algorithm, Online Balanced Decent (OBD), has a competitive ratio that is $Ω(m^{-2/3})$. We additionally propose two new algorithms, Greedy OBD (G-OBD) and Regularized OBD (R-OBD) and prove that both algorithms have an $O(m^{-1/2})$ competitive ratio. The result for G-OBD holds when the hitting costs are quasiconvex and the movement costs are the squared $\ell_2$ norm, while the result for R-OBD holds when the hitting costs are $m$-strongly convex and the movement costs are Bregman Divergences. Further, we show that R-OBD simultaneously achieves constant, dimension-free competitive ratio and sublinear regret when hitting costs are strongly convex.

연구 동기 및 목표

• 강한 볼록성 있는 히팅 비용을 갖는 매끄러운 온라인 볼록 최적화(SOCO)에서 기존 알고리즘의 성능과 이론적 하한 사이의 격차를 좁히는 것.
• 모든 온라인 알고리즘에 대해 $m$-강한 볼록성 있는 히팅 비용과 제곱 $\ell_2$ 이동 비용 설정에서 경쟁 비율에 대한 비트란한 하한을 확립하는 것.
• 새로운 하한과 일치하는 성능을 보이는 새로운 알고리즘을 설계하여 최적의 경쟁 성능를 달성하는 것.
• R-OBD가 강한 볼록성 조건 하에서 상수이자 차원에 영향을 받지 않는 경쟁 비율과 비선형 회귀를 동시에 달성할 수 있음을 보여주는 것.

제안 방법

• 특히 구성된 적대적 비용 함수 시퀀스를 사용하여 경쟁 비율에 대한 새로운 하한을 유도하며, $m \to 0$일 때 어떤 알고리즘도 $\Omega(m^{-1/2})$를 초월할 수 없음을 보여준다.
• 온라인 균형 강하(Online Balanced Descent, OBD)의 성능을 분석하여, 그 경쟁 비율이 $\Omega(m^{-2/3})$임을 증명하며, 이는 새로운 하한보다 한 단계 더 열악하다.
• 히팅 비용과 탐욕적 이동 페널티의 조합을 최소화하는 방식으로 행동을 선택하는 Greedy OBD(G-OBD)를 제안하고, 히팅 비용이 준볼록일 경우 $O(m^{-1/2})$ 경쟁 비율을 달성함을 증명한다.
• Bregman 산란 기반의 정규화 항을 포함하는 Regularized OBD(R-OBD)를 도입하고, $m$-강한 볼록성 있는 히팅 비용에 대해 $O(m^{-1/2})$ 경쟁 비율을 증명한다.
• Bregman 산란의 성질과 볼록 분석 도구, 특히 코시-슈바르츠 부등식과 산술기하 평균 부등식을 사용하여 온라인 비용과 오프라인 비용의 차이를 유계화한다.
• Bregman 산란을 활용한 잠재 함수 방법을 사용하여 누적 비용 차이를 추적하고 경쟁 비율의 상한을 유도한다.

실험 결과

연구 질문

• RQ1 강한 볼록성 있는 히팅 비용과 제곱 $\ell_2$ 이동 비용을 갖는 SOCO에서 온라인 알고리즘의 경쟁 비율에 대한 본질적 한계는 무엇인가?
• RQ2 최신 OBD 알고리즘과 이론적 하한 사이의 성능 격차를 메울 수 있는가?
• RQ3 최적의 $O(m^{-1/2})$ 경쟁 비율을 달성하는 OBD의 새로운 변종이 존재하는가?
• RQ4 강한 볼록성 조건 하에서 어떤 알고리즘이 동시에 상수 경쟁 비율과 비선형 회귀를 달성할 수 있는가?

주요 결과

• 모든 온라인 알고리즘에 대해 $m$-강한 볼록성과 제곱 $\ell_2$ 이동 비용 설정에서 경쟁 비율에 대해 새로운 하한 $\Omega(m^{-1/2})$을 증명하였다.
• 최신 OBD 알고리즘의 경쟁 비율이 $\Omega(m^{-2/3})$임을 입증하였으며, 이는 새로운 하한보다 한 단계 더 열악하여 주어진 차원에서의 성능 격차를 명백히 드러낸다.
• 히팅 비용이 준볼록이고 이동 비용이 제곱 $\ell_2$일 경우, 탐욕적 OBD(G-OBD)가 $O(m^{-1/2})$ 경쟁 비율을 달성한다.
• 히팅 비용이 $m$-강한 볼록이고 이동 비용이 Bregman 산란일 경우, 정규화된 OBD(R-OBD)가 $O(m^{-1/2})$ 경쟁 비율을 달성한다.
• 히팅 비용이 강한 볼록일 경우, R-OBD는 상수이자 차원에 영향을 받지 않는 경쟁 비율과 비선형 회귀를 동시에 달성한다.
• 분석을 통해 R-OBD의 경쟁 비율이 최적임을 확인하였으며, 확립된 하한과 정확히 일치함을 입증하였다.