[논문 리뷰] Dimension-Free Bounds on Chasing Convex Functions

C. J. Argue, Anupam Gupta외 1명|arXiv (Cornell University)|2020. 05. 28.

Optimization and Search Problems참고 문헌 28인용 수 4

한 줄 요약

이 논문은 구조적 성질을 활용하여 고차원 공간에서 볼록 함수 추적을 위한 차원에 영향을 받지 않는 경쟁적 알고리즘을 제안한다. $\kappa$-잘 조절된 함수의 경우, 차원에 관계없이 $O(\sqrt{\kappa})$-경쟁성을 달성한다; $k$-차원 아핀 부분공간의 경우, $O(\min(k, \sqrt{k\log T}))$-경쟁성을 제공한다. 이 방법은 아핀 등장변환을 통한 차원 감소와 저차원 부분공간에서의 기존 볼록체 추적 알고리즘을 활용한다.

ABSTRACT

We consider the problem of chasing convex functions, where functions arrive over time. The player takes actions after seeing the function, and the goal is to achieve a small function cost for these actions, as well as a small cost for moving between actions. While the general problem requires a polynomial dependence on the dimension, we show how to get dimension-independent bounds for well-behaved functions. In particular, we consider the case where the convex functions are $κ$-well-conditioned, and give an algorithm that achieves an $O(\sqrt κ)$-competitiveness. Moreover, when the functions are supported on $k$-dimensional affine subspaces--e.g., when the function are the indicators of some affine subspaces--we get $O(\min(k, \sqrt{k \log T}))$-competitive algorithms for request sequences of length $T$. We also show some lower bounds, that well-conditioned functions require $Ω(κ^{1/3})$-competitiveness, and $k$-dimensional functions require $Ω(\sqrt{k})$-competitiveness.

연구 동기 및 목표

• 차원의 저주를 극복하기 위해 볼록 함수 추적(CFC)에서 차원에 의존하지 않는 경쟁 비율을 도출하기 위해.
• 구조적 가정 하에서 CFC를 연구하기 위해: 잘 조절된 함수와 저차원 아핀 부분공간에 지원되는 함수.
• 환경 차원 $d$에 관계없이 경쟁 비율이 독립적이면서도 강력한 성능 보장을 유지하는 온라인 알고리즘을 설계하기 위해.
• 제안된 알고리즘의 최적성 검증을 위해 두 설정에 대한 날카로운 하한을 수립하기 위해.

제안 방법

• 잘 조절된 함수에 대해 잠재 함수와 기울기 기반 업데이트를 사용하는 새로운 알고리즘 COBD를 제안하여 이동 비용과 함수 비용의 균형을 맞춘다.
• 고차원 $k$-차원 볼록체를 $2k+1$-차원 부분공간에 아핀 등장변환을 통해 통합하여, 거리와 비용을 유지한다.
• $k$-차원 아핀 부분공간의 추적 문제를 기존의 $g(d)$-경쟁성 알고리즘을 활용해 $O(k)$-차원에서의 볼록체 추적 문제로 감소시킨다.
• 차원 감소 정리를 적용하여 원래의 고차원 문제를 동일한 비용 구조를 갖는 저차원 문제로 변환한다.
• 변환 하에 비용 동등성을 유지하기 위해 $\|R_t(x_t) - R_{t-1}(x_{t-1})\| = \|x_t - x_{t-1}\|$임을 이용한다.
• 저차원 공간에서의 경쟁 알고리즘을 변환된 문제에 적용하여 총 경쟁 비율을 유도한다.

실험 결과

연구 질문

• RQ1 함수가 잘 조절되어 있을 때, 볼록 함수 추적에서 차원에 영향을 받지 않는 경쟁 비율을 달성할 수 있는가?
• RQ2 $\mathbb{R}^d$에서 $k$-차원 아핀 부분공간을 추적할 때 최적의 경쟁 비율은 무엇인가?
• RQ3 경쟁성을 잃지 않고 고차원 볼록 함수 추적 문제를 저차원 사례로 감소시킬 수 있는가?
• RQ4 잘 조절된 함수 및 저차원 함수 추적 문제에 대한 날카로운 하한은 무엇인가?
• RQ5 $\kappa$-잘 조절된 함수에 대해 $O(\sqrt{\kappa})$ 경쟁 비율이 상수 요소를 제외하고 최적인가?

주요 결과

• 환경 차원 $d$에 관계없이 $\kappa$-잘 조절된 함수를 갖는 제약 조건이 있는 CFC에 대해 $O(\sqrt{\kappa})$-경쟁성 알고리즘을 달성한다.
• 함수가 $k$-차원 아핀 부분공간에 지원되는 경우, 다시 한 번 환경 차원 $d$에 관계없이 $O(\min(k, \sqrt{k\log T}))$-경쟁성 알고리즘을 달성한다.
• 아핀 등장변환을 통한 차원 감소 기법이 거리와 비용을 유지하며, $k$-차원 추적 문제를 $O(k)$-차원 추적 문제로 감소시킬 수 있다.
• $k$-차원 함수의 하한은 $\Omega(\sqrt{k})$이며, 이는 $O(\sqrt{k\log T})$ 경계가 로그 인자 외에 날카로운 것을 보여준다.
• 잘 조절된 함수의 하한은 $\Omega(\kappa^{1/3})$이며, 이는 $O(\sqrt{\kappa})$ 경계가 날카롭지 않지만 $\kappa$에 대한 다항식 의존성보다는 상당한 향상임을 시사한다.
• COBD 알고리즘이 상수 요소를 제외하고 날카로운 것으로 입증되었으며, 비제약 설정에서 $\Omega(\sqrt{\kappa})$ 하한이 존재한다.