[논문 리뷰] Multi-scale exploration of convex functions and bandit convex optimization

Sébastien Bubeck, Ronen Eldan|arXiv (Cornell University)|2015. 07. 23.

Advanced Bandit Algorithms Research참고 문헌 8인용 수 22

한 줄 요약

이 논문은 볼록 함수에 대한 새로운 다중 척도 탐색 지도를 제안하며, 도메인 전체에 걸쳐 동시에 모든 척도에서 함수를 탐색할 수 있는 분포를 가능하게 한다. 이 구성과 정보 비율 분석을 활용하여, 밴딧 볼록 최적화 분야에서 10년이 넘는 오랜 동안 미해결이었던 문제를 해결하였으며, 차원 $n$ 에서 최대 리그레트 bound $\widetilde{O}(n^{11} \log^4 T \sqrt{T})$ 를 증명하였다. 이는 $\sqrt{T}$ 스케일링을 로그 및 다항 인자 수준에서 정확히 따라가며 최적이다.

ABSTRACT

We construct a new map from a convex function to a distribution on its domain, with the property that this distribution is a multi-scale exploration of the function. We use this map to solve a decade-old open problem in adversarial bandit convex optimization by showing that the minimax regret for this problem is $ ilde{O}(\mathrm{poly}(n) \sqrt{T})$, where $n$ is the dimension and $T$ the number of rounds. This bound is obtained by studying the dual Bayesian maximin regret via the information ratio analysis of Russo and Van Roy, and then using the multi-scale exploration to solve the Bayesian problem.

연구 동기 및 목표

• 공격적 밴딧 볼록 최적화에서 최소 최대 리그레트에 대한 $\sqrt{T}$ 하한과 $T^{3/4}$ 상한 사이의 오랜 격차를 메우기 위해.
• 모든 척도에서 동시에 탐색이 보장되는 분포 지ap을 활용한 볼록 함수에 대한 새로운 다중 척도 탐색 방법 개발을 위해.
• 정보 비율 분석을 통해 베이지안 최대 최소 리그레트 문제를 해결하고, 공격적 설정에서 날카로운 리그레트 바운드를 도출하기 위해.
• 일차원에서 최근에 달성된 $\sqrt{T}$-리그레트 결과를 고차원으로 확장하여, 차원 $n$ 에 대한 다항식 의존성을 달성하기 위해.

제안 방법

• 모든 $\alpha \in \mathcal{K}$ 와 $g(\alpha) < -\varepsilon$ 를 만족하는 $1$-립시츠 함수 $g$ 에 대해, $|f(x) - g(x)|$ 가 큰 집합이 상당한 측도를 가지도록 볼록체 $\mathcal{K}$ 위에 분포 $\mu$ 를 구성하기 위해.
• 도메인의 기하학적 및 측도 이론적 성질을 활용하여, 볼록 함수 $f$ 에서 모든 척도에서 탐색이 보장되는 확률 측도 $\mu$ 로의 사상 정의하기 위해.
• Russo와 Van Roy의 정보 비율 프레임워크를 사용하여 베이지안 최대 최소 리그레트를 바운딩하고, 기대 리그레트를 최적 행동에 대한 정보 획득과 연결하기 위해.
• Sion의 최소 최대 정리를 적용하여 최소 최대 리그레트 문제를 베이지안 최대 최소 리그레트 바운딩 문제로 환원하기 위해.
• 구형 투영과 반경 측도를 사용하여 도메인의 기하학을 분석하고, 고차원에서의 로그-볼록성과 체적 비교를 활용하기 위해.
• 측도의 분해와 극좌표를 사용하여 반경 투영 $\Theta_\alpha(x)$ 의 등치수준 집합 위의 조건부 측도의 밀도를 유도하기 위해.

실험 결과

연구 질문

• RQ1 한 개의 볼록체 위에서의 분포가 모든 척도에서 볼록 함수의 동시에 탐색을 보장할 수 있는가?
• RQ2 일반적인 $n$-차원 볼록체에 대해, 밴딧 볼록 최적화에서 $\widetilde{O}(\mathrm{poly}(n)\sqrt{T})$ 의 최소 최대 리그레트 바운드를 달성할 수 있는가?
• RQ3 공격적 밴딧 볼록 최적화에서 탐색과 정보 획득 사이의 최적 트레이드오프는 무엇인가?
• RQ4 $T^{3/4}$ 상한과 $\sqrt{T}$ 하한 사이의 갭이 존재하는 상황에서, 고차원에서 $\sqrt{T}$ 리그레트 스케일링을 달성할 수 있는가?
• RQ5 볼록성은 함수를 음의 편향과 비교할 때 통계적으로 더 뚜렷한 구별 가능성을 어떻게 가능하게 하는가?

주요 결과

• 논문은 $\mathcal{K}$ 위에 분포 $\mu$ 를 구성하였으며, 임의의 $\alpha \in \mathcal{K}$ 와 $g(\alpha) < -\varepsilon$ 를 만족하는 $1$-립시츠 함수 $g$ 에 대해, $|f(x) - g(x)| > \frac{c}{n^{7.5}\log(1+n/\varepsilon)}\max(\varepsilon, f(x))$ 를 만족하는 집합의 측도가 최소 $\frac{c}{n^3\log(1+n/\varepsilon)}$ 이상임을 보였다.
• 밴딧 볼록 최적화에서 차원 $n$ 에서 최소 최대 리그레트는 $\mathbb{E}[R_T] \leq c\, n^{11} \log^4 T \sqrt{T}$ 로 바운딩되며, 이는 $T$-의존성에서 오랜 동안의 격차를 해결하였다.
• 이전까지의 최선의 bound $\widetilde{O}(n^{16}\sqrt{T})$ 보다 더 날카로운 $n$-의존성으로 개선되었으며, 이는 $n$ 에 대한 더 강력한 제약 조건을 제공한다.
• 이 구성은 $\mathrm{poly}(n)$-의존 리그레트를 달성하였으며, 이는 $\sqrt{T}$ 스케일링을 로그 및 다항 인자 수준에서 정확히 따라가며, 이러한 인자들 수준에서 최적이며 최적이다.
• 핵심 통찰은 볼록성이 비볼록 설정에서 불가능한 다중 척도 탐색 전략을 가능하게 한다는 점이며, 비볼록 설정에서는 구별 가능성은 오직 $O(\varepsilon^{n+1})$ 에 불과하다.
• 분석은 정보 비율을 활용한 새로운 정보 이론적 프레임워크와 기하 측도 이론을 결합하여 탐색 분포의 행동을 제어하는 데 의존한다.