[논문 리뷰] On the Complexity of Bandit and Derivative-Free Stochastic Convex Optimization

Ohad Shamir|arXiv (Cornell University)|2012. 09. 11.

Advanced Bandit Algorithms Research참고 문헌 22인용 수 86

한 줄 요약

이 논문은 밴딧 및 도함수 없는 확률적 볼록 최적화의 날카운 복잡도 한계를 확립하며, 강凸성과 미분 가능성을 만족하는 함수에 대해 최적 오차율이 $\Omega(\sqrt{d^2/T})$ 스케일링을 따른다는 것을 증명한다. 또한, 도함수 접근 없이도 이차 함수에 대해 빠른 $\mathcal{O}(1/T)$ 오차율이 달성 가능함을 보이며, 이는 분야에서 오랫동안 남아 있던 열린 문제를 해결한다.

ABSTRACT

The problem of stochastic convex optimization with bandit feedback (in the learning community) or without knowledge of gradients (in the optimization community) has received much attention in recent years, in the form of algorithms and performance upper bounds. However, much less is known about the inherent complexity of these problems, and there are few lower bounds in the literature, especially for nonlinear functions. In this paper, we investigate the attainable error/regret in the bandit and derivative-free settings, as a function of the dimension d and the available number of queries T. We provide a precise characterization of the attainable performance for strongly-convex and smooth functions, which also imply a non-trivial lower bound for more general problems. Moreover, we prove that in both the bandit and derivative-free setting, the required number of queries must scale at least quadratically with the dimension. Finally, we show that on the natural class of quadratic functions, it is possible to obtain a "fast" O(1/T) error rate in terms of T, under mild assumptions, even without having access to gradients. To the best of our knowledge, this is the first such rate in a derivative-free stochastic setting, and holds despite previous results which seem to imply the contrary.

연구 동기 및 목표

• 밴딧 및 도함수 없는 확률적 볼록 최적화의 기본 복잡도를 차원 $d$와 쿼리 수 $T$의 관점에서 기술하는 것.
• 도함수 없는 및 밴딧 설정에서 강凸성과 미분 가능성을 만족하는 함수에 대해 기존 상한과 하한 사이의 격차를 메우는 것.
• 도함수 없는 확률적 볼록 최적화에서 빠른 $\mathcal{O}(1/T)$ 오차율이 달성 가능한지, 특히 이차 함수에 대해 조사하는 것.
• 자연스럽고 볼록인 정의역에서, 인위적인 가정 없이도 성립하는 명시적 정보 이론적 하한을 제공하는 것.
• 밴딧 최적화(손실 최소화)와 도함수 없는 최적화(오차 최소화) 간의 관계를 명확히 하여, 첫 번째가 엄밀히 더 어렵다는 것을 보여주는 것.

제안 방법

• 임의의 벡터 $\mathbf{e} \in \{-\mu, +\mu\}^d$ 를 매개변수로 하는 강凸성과 미분 가능성을 만족하는 함수의 가족을 구성하여, 최적점에서 멀리 떨어져 있어도 함수 값이 거의 구분되지 않도록 설계한다.
• 함수 형태 $F_{\mathbf{e}}(\mathbf{w}) = \|\mathbf{w}\|^2 - \sum_{i=1}^d \frac{e_i w_i}{1 + (w_i/e_i)^2}$ 를 신중히 설계하여, 모든 $\mathbf{w}$ 에 대해 $|F_{\mathbf{e}}(\mathbf{w}) - F_{-\mathbf{e}}(\mathbf{w})| = \Theta(\mu^2)$ 가 되도록 하여, 함수 쿼리만으로 $\mathbf{e}$ 와 $-\mathbf{e}$ 를 쉽게 구분할 수 없도록 한다.
• 랜덤 선택인 $\mathbf{e}$ 에 대한 최소-최대 원리(minimax argument)를 적용하여 기대 최적화 오차에 대한 하한을 유도하며, 이 하한이 적어도 $\Omega(\sqrt{d^2/T})$ 여야 한다는 것을 보여준다.
• 이차 함수의 경우, 도함수 없는 설정에서 빠른 $\mathcal{O}(1/T)$ 오차율이 미세한 가정 하에 달성 가능함을 보이며, 새로운 알고리즘 설계를 통해 이를 실현한다.
• 이차 함수의 경우 함수의 구조 덕분에 기울기 정보 없이도 노이즈가 있는 함수 평가에서도 최소값을 효율적으로 추정할 수 있음을 활용한다.
• 밴딧 및 도함수 없는 설정을 비교하여, 밴딧 설정이 엄밀히 더 어렵다는 것을 보이며, 동일한 하한이 둘 다에 적용되지만, 상한은 밴딧 설정에서 더 크다는 점을 확인한다.

실험 결과

연구 질문

• RQ1 강凸성과 미분 가능성을 만족하는 함수에 대해 도함수 없는 확률적 볼록 최적화에서 최적 달성 오차율은 무엇인가?
• RQ2 도함수 정보 없이도 도함수 없는 확률적 볼록 최적화에서 빠른 $\mathcal{O}(1/T)$ 오차율을 달성할 수 있는가?
• RQ3 밴딧 및 도함수 없는 설정에서 필요한 쿼리 수는 차원 $d$ 에 따라 어떻게 스케일링되는가?
• RQ4 밴딧 최적화와 도함수 없는 최적화의 성능 사이에 증명 가능한 격차가 존재하는가? 만약 존재한다면 그 근본 원인은 무엇인가?
• RQ5 자연스럽고 볼록인 정의역에서 이러한 문제에 대해 가장 날카로운 정보 이론적 하한은 무엇인가?

주요 결과

• 강凸성과 미분 가능성을 만족하는 함수에 대해 도함수 없는 확률적 볼록 최적화에서 최적 오차율은 $\Omega(\sqrt{d^2/T})$ 이며, 상수 인자만 다를 뿐 기존 상한과 정확히 일치한다.
• 이차 함수의 경우, 도함수 없는 설정에서 빠른 $\mathcal{O}(1/T)$ 오차율이 달성 가능하며, 도함수 접근 없이도 가능하다—이는 도함수 없는 확률적 설정에서 처음으로 이러한 결과가 도출된 것이다.
• 밴딧 및 도함수 없는 설정 모두에서 필요한 쿼리 수는 차원 $d$ 에 대해 적어도 제곱 스케일링으로 증가해야 하며, 이는 노이즈 있는 함수 값으로부터 함수 매개변수를 구분하는 데의 어려움 때문이다.
• 밴딧 설정은 도함수 없는 설정보다 엄밀히 더 어렵다. 동일한 하한이 둘 다에 적용되지만, 알려진 최상의 상한은 밴딧 설정에서 더 크기 때문이다.
• 하한 구축 과정에서, 경쟁하는 매개변수 간의 함수 값 차이가 전역적으로 $\Theta(\mu^2)$ 로 일정하여, 많은 쿼리가 있더라도 효율적으로 구분할 수 없도록 하는 함수 가족을 사용한다.
• 논문은 이전 결과들이 이를 배제하는 것처럼 보였지만, 이는 잘못된 해석이었음을 보여줌으로써 오랫동안 남아 있던 열린 문제를 해결하였다. 즉, 이차 함수에 대해 도함수 없는 설정에서 $\mathcal{O}(1/T)$ 오차율이 달성 가능하다는 것을 입증하였다.