[논문 리뷰] Smoothed Online Convex Optimization in High Dimensions via Online Balanced Descent

Niangjun Chen, Gautam Goel외 1명|arXiv (Cornell University)|2018. 03. 27.

Advanced Bandit Algorithms Research인용 수 34

한 줄 요약

이 논문은 고차원에서의 스무딩 온라인 볼록 최적화(smoothed online convex optimization, SOCO)를 위한 새로운 알고리즘 프레임워크인 온라인 균형 강하(Online Balanced Descent, OBD)를 소개한다. OBD는 현재 비용 함수의 등고선에 투영하여 이동 비용과 히트 비용을 균형 잡는 방식으로 작동한다. OBD는 국소 다각형 비용 함수에 대해 차원에 의존하지 않는 경쟁 비율 $3 + O(1/\alpha)$를 달성하고, 차원에 영향을 받지 않는 경계를 가진 부분선형 정적 리그레트(sublinear static regret)를 달성하며, 고차원 SOCO 문제에 대해 이러한 결과를 처음으로 이룬다.

ABSTRACT

We study Smoothed Online Convex Optimization, a version of online convex optimization where the learner incurs a penalty for changing her actions between rounds. Given a $\\Omega(\\sqrt{d})$ lower bound on the competitive ratio of any online algorithm, where $d$ is the dimension of the action space, we ask under what conditions this bound can be beaten. We introduce a novel algorithmic framework for this problem, Online Balanced Descent (OBD), which works by iteratively projecting the previous point onto a carefully chosen level set of the current cost function so as to balance the switching costs and hitting costs. We demonstrate the generality of the OBD framework by showing how, with different choices of "balance," OBD can improve upon state-of-the-art performance guarantees for both competitive ratio and regret, in particular, OBD is the first algorithm to achieve a dimension-free competitive ratio, $3 + O(1/\\alpha)$, for locally polyhedral costs, where $\\alpha$ measures the "steepness" of the costs. We also prove bounds on the dynamic regret of OBD when the balance is performed in the dual space that are dimension-free and imply that OBD has sublinear static regret.

연구 동기 및 목표

• 기존 알고리즘이 경쟁 비율에 대해 $\Omega(\sqrt{d})$의 하한을 가진 고차원 스무딩 온라인 볼록 최적화(SOCO)의 근본적 과제를 해결한다.
• 새로운 알고리즘 프레임워크를 도입하여 SOCO에서 차원에 의존하는 성능 장벽을 극복하고, 차원에 의존하지 않는 성능 보장을 보장한다.
• 이동 비용과 히트 비용 사이의 균형을 새로운 투영 메커니즘을 통해 활용하여 SOCO의 개선된 경쟁 비율과 리그레트 경계를 달성한다.
• OBD가 동적 리그레트 경계와 정적 리그레트 경계를 동일한 차원 $d$에 관계없이 부분선형으로 동시에 달성할 수 있음을 보여준다.
• 통합된 OBD 프레임워크를 통해 원형 및 이중 설정에서 경쟁 비율과 리그레트에 대한 이론적 보장을 제공한다.

제안 방법

• 이전 동작을 현재 비용 함수의 등고선에 투영하여 이동 비용과 히트 비용을 균형 잡는 알고리즘인 온라인 균형 강하(OBD)를 제안한다.
• 강凸(mirror map) $\Phi$ 기반의 잠재 함수를 사용하여 이동 비용과 비용 함수 값 사이의 트레이드오프를 제어한다.
• 원형 설정에서는 비용 함수의 히트 비용 $f_t(x_t)$와 이동 비용 $\|x_t - x_{t-1}\|$ 사이의 균형을, 균형 매개변수에 의해 제어되는 등고선 투영을 통해 달성한다.
• 이중 설정에서는 기울기의 이중 노름 $\|\nabla f_t(x_t)\|_*$와 이중 공간 내 이동 비용 사이의 균형을 맞추어 동적 리그레트 경계를 확보한다.
• 균형 조건을 만족하는 올바른 등고선을 찾기 위해 이분법(bisection)을 사용하여 OBD를 효율적으로 구현한다.
• 거울 매핑 $\Phi$에 대한 브레지언 투영(Bregman projections)을 활용하여 이중 공간 균형 접근법에서 수렴성과 안정성을 보장한다.

실험 결과

연구 질문

• RQ1 스무딩 온라인 볼록 최적화를 위한 경쟁 알고리즘이 고차원 설정에서 차원에 의존하지 않는 경쟁 비율을 달성할 수 있는가?
• RQ2 고차원 SOCO에서 부분선형 리그레트를 가능하게 하는 비용 함수의 조건은 무엇이며, 이러한 경계는 차원 $d$에 영향을 받지 않도록 만들 수 있는가?
• RQ3 원형 대 이중 설정에서 균형 메트릭을 선택할 경우 OBD의 성능 보장, 즉 경쟁 비율과 리그레트에 어떤 영향을 미치는가?
• RQ4 OBD는 이론적 상충관계가 존재하는 경쟁 비율과 리그레트 지표에서 동시에 뛰어난 성능을 달성하도록 설계될 수 있는가?
• RQ5 브레지언 투영과 거울 매핑을 사용할 경우, SOCO에서 이동 비용과 히트 비용을 균형 잡는 데 이론적으로 어떤 영향을 미치는가?

주요 결과

• 국소 다각형 비용 함수에 대해 OBD는 $\alpha$가 비용의 급격함을 측정하는 데 사용되며, 이에 따라 $3 + O(1/\alpha)$의 경쟁 비율을 달성한다. 이 경계는 차원 $d$에 영향을 받지 않는다.
• 연속적으로 미분 가능한 비용 함수에 대해 이중 공간 균형을 사용한 OBD는 $L$-제약 동적 리그레트를 $\frac{GL}{\eta} + \frac{T\eta}{2m}$ 이하로 제한하며, 이는 차원에 의존하지 않는다.
• 균형 매개변수 $\eta$를 최적화함으로써 OBD는 $O(\sqrt{T})$의 정적 리그레트를 달성하며, 이는 이동 비용이 없는 경우 알려진 하한과 일치한다.
• 이중 공간 버전의 OBD는 오프라인 해가 더 낮은 히트 비용을 가질 경우 잠재 함수가 감소함을 보장하여, 비음수 단계별 부담을 포함한 총 비용 분석이 가능하다.
• OBD는 고차원 SOCO에서 차원에 의존하지 않는 경쟁 비율과 부분선형 리그레트를 동시에 달성한 최초의 알고리즘이며, 핵심 열린 문제를 해결한다.
• 이론적 분석은 OBD의 성능가 다양한 노름과 비용 함수 클래스에 대해 강건함을 보이며, 브레지언 발산과 거울 매핑의 강凸성에 의해 유도된 경계를 제시한다.