[논문 리뷰] Curvature of Feasible Sets in Offline and Online Optimization

Marco Molinaro|arXiv (Cornell University)|2020. 02. 08.

Advanced Bandit Algorithms Research참고 문헌 44인용 수 9

한 줄 요약

이 논문은 아버네티 등에 의해 제기된 추측을 증명하며, 강한 볼록성과 게이지 집합 간의 등가성을 확립한다. 이는 프랭크-울프 유형의 방법이 목적 함수의 강한 볼록성이 필요 없이 강한 볼록성의 타당 집합에서 $O(1/t^2)$ 수렴 속도를 달성할 수 있음을 보여주며, 또한 온라인 선형 최적화에서 팔로우 더 리더(Follow the Leader)가 이러한 집합에서 로그 수준의 손실을 달성함을 보여준다. 또한 곡률을 유지하는 볼록체 근사 방법을 제안하여 이러한 결과를 일반 볼록 집합으로 확장한다.

ABSTRACT

It is known that the curvature of the feasible set in convex optimization allows for algorithms with better convergence rates, and there has been renewed interest in this topic both for offline as well as online problems. In this paper, leveraging results on geometry and convex analysis, we further our understanding of the role of curvature in optimization: - We first show the equivalence of two notions of curvature, namely strong convexity and gauge bodies, proving a conjecture of Abernethy et al. As a consequence, this show that the Frank-Wolfe-type method of Wang and Abernethy has accelerated convergence rate $O(\frac{1}{t^2})$ over strongly convex feasible sets without additional assumptions on the (convex) objective function. - In Online Linear Optimization, we identify two main properties that help explaining \emph{why/when} Follow the Leader (FTL) has only logarithmic regret over strongly convex sets. This allows one to directly recover a recent result of Huang et al., and to show that FTL has logarithmic regret over strongly convex sets whenever the gain vectors are non-negative. - We provide an efficient procedure for approximating convex bodies by strongly convex ones while smoothly trading off approximation error and curvature. This allows one to extend the improved algorithms over strongly convex sets to general convex sets. As a concrete application, we extend the results of Dekel et al. on Online Linear Optimization with Hints to general convex sets.

연구 동기 및 목표

• 자신의 게이지에 대해 강한 볼록성을 지닌다. (이를 통해 아버네티 등의 추측을 해결한다.)
• 타당 집합의 곡률이 오프라인 및 온라인 최적화 알고리즘의 수렴 가속화에 미치는 역할을 명확히 한다.
• 일반 볼록체를 강한 볼록체로 근사하는 절차를 개발하며, 근사 오차와 곡률 간의 균형을 유지한다.
• 곡률 기반 근사를 통해 Hints가 있는 온라인 선형 최적화에서 향상된 손실 한계를 일반 볼록 집합으로 확장한다.

제안 방법

• 강한 볼록성과 동일한 $C$에 대해 게이지 집합 간의 등가성을 증명하며, 아버네티 등의 추측을 해결한다.
• 게이지 함수와 이차 성질 등의 기하학적 및 볼록 해석 도구를 사용하여 곡률 개념 간의 등가성을 확립한다.
• 이 등가성을 적용하여, 와앙과 아버네티의 프랭크-울프 유형 방법이 목적 함수의 강한 볼록성이 없더라도 강한 볼록 타당 집합에서 $O(1/t^2)$ 수렴을 달성함을 보여준다.
• 주어진 볼록체 $K$에 대해 $K_t \to K$ ($t \to \infty$)가 되도록, 근사 오차와 곡률을 제어할 수 있는 강한 볼록 근사 $K_t$를 구성하는 절차를 제안한다.
• 곡률을 유지하는 근사를 활용하여, 데켈 등이 제시한 Hints가 있는 온라인 선형 최적화의 $O(\log T)$ 손실 결과를 일반 볼록 집합으로 확장한다.
• 약한 최적화 오라클과 볼록 기하학을 활용하여 근사 및 알고리즘의 다항 시간 계산 가능성을 보장한다.

실험 결과

연구 질문

• RQ1 볼록체 $K$가 자신의 게이지 $\|\cdot\|_K$ 에 대해 게이지 집합인지 여부는 $K$에 대해 강한 볼록성 여부와 동치인가?
• RQ2 프랭크-울프 유형 방법의 가속화된 $O(1/t^2)$ 수렴 속도가 목적 함수의 곡률과 무관하게 타당 집합의 곡률에 의해 보장될 수 있는가?
• RQ3 왜 팔로우 더 리더가 강한 볼록 집합에서 온라인 선형 최적화에서 로그 수준의 손실을 달성하며, 이러한 성질이 성립하는 조건은 무엇인가?
• RQ4 일반 볼록 집합을 곡률의 이점을 유지하면서 근사 오차를 제어할 수 있도록 강한 볼록체로 근사할 수 있는가?
• RQ5 Hinits가 있는 온라인 선형 최적화에서 향상된 손실 한계는 강한 볼록 집합을 초월하여 일반 볼록 집합으로 확장될 수 있는가?

주요 결과

• 논문은 볼록체 $K$가 자신의 게이지 $\|\cdot\|_K$ 에 대해 게이지 집합이 되는 것과 $K$에 대해 강한 볼록성이 되는 것이 동치임을 증명하며, 아버네티 등의 추측을 해결한다.
• 이에 따라, 와앙과 아버네티의 프랭크-울프 유형 방법은 목적 함수가 강한 볼록성이 없더라도 어떤 강한 볼록 타당 집합에서도 $O(1/t^2)$ 수렴 속도를 달성한다.
• 비음수 이득 벡터를 가진 온라인 선형 최적화에서 팔로우 더 리더가 $O(\log T)$ 손실을 달성하며, 이는 이 향상된 손실의 메커니즘을 설명한다.
• 논문은 주어진 볼록체 $K$에 대해 $K \subseteq \sqrt{1 + 2\varepsilon} \, K_t$ 이며, $K_t$의 2-볼록성 모듈러스가 $\frac{\varepsilon r^2}{4R^2}$ 이상이 되도록 보장하는 강한 볼록 근사 $K_t$의 가족을 구성한다. 이는 곡률 기반 근사를 가능하게 한다.
• 이 근사를 활용하여, Hints가 있는 온라인 선형 최적화의 $O(\log T)$ 손실 한계를 일반 볼록 집합으로 확장한다. 이 경우 손실에 다항식 $O(1/\varepsilon)$ 요소가 추가된다.
• 결과적으로 얻어진 알고리즘은 총 보상이 $(1 - \varepsilon)\textsc{OPT} - \frac{dGR^4}{\alpha r^3} \cdot O(\frac{\log T}{\varepsilon})$ 이상이 되며, 이는 힌트가 있더라도 곡률이 로그 수준의 손실을 달성하는 데 필수적임을 보여준다.