[논문 리뷰] Improved Exploiting Higher Order Smoothness in Derivative-free Optimization and Continuous Bandit

Vasilii Novitskii, Alexander Gasnikov|arXiv (Cornell University)|2021. 01. 11.

Advanced Bandit Algorithms Research참고 문헌 11인용 수 5

한 줄 요약

이 논문은 하나의 점에서의 밴딧 설정에서 커널 기반의 기울기 추정기(gradient estimator)를 도입하여, 고차수의 스무쓰함(β > 2)을 가지는 강력한 볼록 함수와 볼록 함수에 대해 제로 오더 스토하스틱 최적화를 향상시킨다. 기대 최적화 오차에 대해 $\tilde{\mathcal{O}}\left(\frac{n^{2 - \frac{1}{\beta}}}{\gamma N^{\frac{\beta-1}{\beta}}}\right)$의 더 빠른 수렴 속도를 달성하며, 이는 이전 연구 대비 차원 의존성의 차원에서 $n^2$에서 $n^{2 - \frac{1}{\beta}}$로 감소시킴으로써 향상된다.

ABSTRACT

We consider $β$-smooth (satisfies the generalized Holder condition with parameter $β> 2$) stochastic convex optimization problem with zero-order one-point oracle. The best known result was arXiv:2006.07862: $\mathbb{E} \left[f(\overline{x}_N) - f(x^*) ight] = ilde{\mathcal{O}} \left(\dfrac{n^{2}}{γN^{\frac{β-1}β}} ight)$ in $γ$-strongly convex case, where $n$ is the dimension. In this paper we improve this bound: $\mathbb{E} \left[f(\overline{x}_N) - f(x^*) ight] = ilde{\mathcal{O}} \left(\dfrac{n^{2-\frac{1}β}}{γN^{\frac{β-1}β}} ight).$

연구 동기 및 목표

• 고차수 스무쓰함(β > 2)이 존재하지만 제로 오더 및 하나의 점에서의 오라클 접근 방식이 적용되는 도함수 없는 최적화의 격차를 해결한다.
• 적대적 노이즈와 강력한 볼록성 하에서 스토하스틱 프로젝션 기반 기울기 방법의 수렴 속도를 향상시킨다.
• 커널 스무쓰닝을 통해 고차수 스무쓰함을 활용하여 최적화 오차의 차원 의존성을 $n^2$에서 $n^{2 - \frac{1}{\beta}}$로 감소시킨다.
• 볼록 및 강력한 볼록 설정 모두에서 주어진 최적화 오차 $\varepsilon$를 달성하기 위한 더 날카운 반복 복잡도 경계를 수립한다.

제안 방법

• 함수 값의 노이즈가 있는 측정값 $y_k, y_k'$를 $x_k \pm \tau_k r_k e_k$에서 취득하여, 커널 기반 기울기 추정기 $\widetilde{g}_k = \frac{n}{2\tau_k}(y_k - y_k')e_kK(r_k)$를 사용하는 하나의 점에서의 스토하스틱 프로젝션 기반 기울기 알고리즘을 제안한다.
• Polyak과 Tsybakov(1990)의 영향을 받아 고차수 스무쓰함을 활용하는 커널 스무쓰닝을 적용하여, $\beta > 2$인 일반화된 홀더 조건 하에서 더 나은 기울기 근사치를 가능하게 한다.
• 단위 구면 위에서 균일하게 분포된 랜덤 방향 $e_k$와 $[-1,1]$에서 균일하게 선택된 스케일링 $r_k$를 사용하여 기울기 추정의 비편향성을 확보한다.
• 강력한 볼록성의 경우를 다루기 위해 정규화 기법 $f_\gamma(x) = f(x) + \frac{\gamma}{2}\|x - x_0\|^2$을 적용하고, 정규화된 최소화자(minimizer)를 통해 수렴 보장을 도출한다.
• 적대적 노이즈와 일반화된 홀더 스무쓰함(매개수 $\beta > 2$)에 대한 가정을 사용하여 기대 최적화 오차의 상한을 유도한다.
• 근사 오차와 분산 항을 균형 잡는 방식으로 반복 복잡도 경계를 수립하여, $n$, $\gamma$, $\beta$에 대한 더 나은 의존성 확보.

실험 결과

연구 질문

• RQ1 제로 오더 스토하스틱 최적화에서 하나의 점에서의 밴딧 피드백가 존재할 때 고차수 스무쓰함(β > 2)을 효과적으로 활용할 수 있는가?
• RQ2 수렴 속도가 차원 $n$, 반복 횟수 $N$, 강력한 볼록성 매개수 $\gamma$, 스무쓰함 매개수 $\beta$에 대해 최적의 의존성을 가지는가?
• RQ3 고차수 스무쓰함이 존재할 경우 오차 경계의 차원 의존성이 $n^2$를 초과하여 향상될 수 있는가?
• RQ4 제안된 커널 기반 기울기 추정기의 수렴 속도와 반복 복잡도는 기존 방법에 비해 어떻게 비교되는가?
• RQ5 정규화와 커널 스무쓰닝을 통해 볼록 케이스에서 $n$과 $\gamma$에 대한 더 나은 의존성으로 $\varepsilon$-정확도를 달성할 수 있는가?

주요 결과

• 강력한 볼록 케이스에서 기대 최적화 오차는 $\mathbb{E}[f(\overline{x}_N) - f(x^*)] = \tilde{\mathcal{O}}\left(\frac{n^{2 - \frac{1}{\beta}}}{\gamma N^{\frac{\beta-1}{\beta}}}\right)$로 경계되며, 이는 이전의 경계 $\tilde{\mathcal{O}}\left(\frac{n^2}{\gamma N^{\frac{\beta-1}{\beta}}}\right)$를 향상시킨다.
• 볼록 케이스에서 $\varepsilon$-정확도를 달성하기 위한 반복 복잡도는 $N(\varepsilon) = \tilde{\mathcal{O}}\left(\frac{n^{2 + \frac{1}{\beta-1}}}{\varepsilon^{2 + \frac{2}{\beta-1}}}\right)$이며, 이는 이전 연구 대비 더 나은 차원 의존성을 보인다.
• 제안된 방법은 $n^2$ 대신 $n^{2 - \frac{1}{\beta}}$의 차원 의존성을 달성하여, 고차수 스무쓰함이 제로 오더 최적화에서 차원의 영향을 줄임을 입증한다.
• 수치 실험 결과, $\beta = 3$ 및 $\beta = 5$일 때 제안된 알고리즘이 고차수 스무쓰함을 활용하지 않는 방법들, 특히 $\beta = 2$인 Akhavan의 방법보다 뛰어난 성능을 보였다.
• 적대적 노이즈 하에서도 알고리즘이 강건성을 유지하며, 노이즈의 기대값이 0이 아니어도 더 빠른 수렴 속도를 달성하지만, 큰 편차 경계는 여전히 열려 있는 문제이다.
• 분석 결과, 커널 기반 기울기 추정기에서 근사 오차와 분산 간의 트레이드오���이 $\tau_k$ 조정을 통해 효과적으로 관리되어 더 빠른 수렴이 가능함을 보여준다.