[논문 리뷰] Lower Bounds on the Worst-Case Complexity of Efficient Global Optimization

Wenjie Xu, Yuning Jiang외 2명|arXiv (Cornell University)|2022. 09. 20.

Advanced Optimization Algorithms Research인용 수 4

한 줄 요약

이 논문은 비베이지안, 노이즈 없는 설정에서 일반 커널 함수에 대해 효율적 글로벌 최적화(EGO)의 최악의 경우 샘플 복잡도에 대한 통합 하한을 확립한다. 재생 커널 힐버트 공간(RKHS)의 메트릭 엔트로피와 복잡도를 연결함으로써, 임의의 결정적 알고리즘이 하위최적성 갭 $\epsilon$을 확보하기 위해 반드시 $T = \Omega\left(\frac{\log \mathcal{N}(S(\mathcal{X}), 4\epsilon, \|\cdot\|_\infty)}{\log(R/\epsilon)}\right)$ 번의 쿼리를 수행해야 한다고 증명한다. 이는 제곱 지수 및 매테른 커널에 대해 알려진 상한과 거의 일치한다.

ABSTRACT

Efficient global optimization is a widely used method for optimizing expensive black-box functions such as tuning hyperparameter, and designing new material, etc. Despite its popularity, less attention has been paid to analyzing the inherent hardness of the problem although, given its extensive use, it is important to understand the fundamental limits of efficient global optimization algorithms. In this paper, we study the worst-case complexity of the efficient global optimization problem and, in contrast to existing kernel-specific results, we derive a unified lower bound for the complexity of efficient global optimization in terms of the metric entropy of a ball in its corresponding reproducing kernel Hilbert space~(RKHS). Specifically, we show that if there exists a deterministic algorithm that achieves suboptimality gap smaller than $ε$ for any function $f\in S$ in $T$ function evaluations, it is necessary that $T$ is at least $Ω\left(\frac{\log\mathcal{N}(S(\mathcal{X}), 4ε,\|\cdot\|_\infty)}{\log(\frac{R}ε)} ight)$, where $\mathcal{N}(\cdot,\cdot,\cdot)$ is the covering number, $S$ is the ball centered at $0$ with radius $R$ in the RKHS and $S(\mathcal{X})$ is the restriction of $S$ over the feasible set $\mathcal{X}$. Moreover, we show that this lower bound nearly matches the upper bound attained by non-adaptive search algorithms for the commonly used squared exponential kernel and the Matérn kernel with a large smoothness parameter $ν$, up to a replacement of $d/2$ by $d$ and a logarithmic term $\log\frac{R}ε$. That is to say, our lower bound is nearly optimal for these kernels.

연구 동기 및 목표

• 효율적 글로벌 최적화(EGO)의 기본 한계를 최악의 경우 샘플 복잡도 측면에서 이해하기 위해.
• 기존의 커널에 특화된 하한과 일반적이며 커널에 의존하지 않는 복잡도 분석 사이의 격차를 메우기 위해.
• RKHS의 메트릭 엔트로피와 EGO 문제의 본질적 복잡도 사이의 연결 고리를 설정하기 위해.
• 통계적 노이즈 영향을 제거하기 위해 노이즈 없는 비베이지안 설정을 분석함으로써 본질적 복잡도를 분리하기 위해.
• 유명한 커널들인 SE 및 매테른 커널(매우 높은 부드러움 파라미터)에 대해 유도된 하한이 기존 상한과 거의 일치함을 보여주기 위해.

제안 방법

• RKHS 내 반경 $R$의 공역 $S$에 속하는 임의의 함수에 대해 하위최적성 갭 $\epsilon$을 달성하기 위해 필요한 기능 평가 수 $T$에 대한 일반적인 하한을 유도한다.
• 함수 공간 복잡도의 척도로 커버링 수 $\mathcal{N}(S(\mathcal{X}), 4\epsilon, \|\cdot\|_\infty)$ 를 사용한다.
• 정보 이론적 추론을 적용하여, 임의의 결정적 알고리즘에 대해 $T$가 반드시 $\Omega\left(\frac{\log \mathcal{N}(S(\mathcal{X}), 4\epsilon, \|\cdot\|_\infty)}{\log(R/\epsilon)}\right)$ 이상이어야 한다고 증명한다.
• 이 하한이 제곱 지수 및 매테른 커널에 대해 비적응적 탐색 알고리즘이 달성하는 상한과 거의 일치함을 입증한다.
• 특정 커널에 대해 RKHS가 소볼레프 공간과 등가임을 고려한 함수해석학 결과를 활용하여 커버링 수의 하한을 도출한다.
• 스티르링의 근사법과 가우시안 적분의 경계를 적용하여 커널 행렬 근사 분석에서 오차 항을 제어한다.

실험 결과

연구 질문

• RQ1 일반적인 커널 함수에 대해 효율적 글로벌 최적화의 기본 최악의 경우 샘플 복잡도는 무엇인가?
• RQ2 RKHS 볼의 메트릭 엔트로피는 EGO 알고리즘의 쿼리 복잡도와 어떻게 관련이 있는가?
• RQ3 다양한 커널 클래스에 일반적으로 적용 가능한 커널에 독립적인 통합 하한을 도출할 수 있는가?
• RQ4 유도된 하한이 제곱 지수 및 매테른 커널과 같은 유명한 커널에 대해 알려진 상한과 어느 정도 일치하는가?
• RQ5 노이즈 없는 설정은 통계적 노이즈 영향과 독립적인 EGO의 본질적 복잡도를 드러내는가?

주요 결과

• 논문은 EGO의 최악의 경우 샘플 복잡도에 대한 일반적인 하한을 확립한다: $T = \Omega\left(\frac{\log \mathcal{N}(S(\mathcal{X}), 4\epsilon, \|\cdot\|_\infty)}{\log(R/\epsilon)}\right)$, 여기서 $\mathcal{N}$ 은 타당 영역 위에서의 RKHS 볼의 커버링 수이다.
• 제곱 지수 커널의 경우, 유도된 하한은 비적응적 알고리즘으로부터 알려진 상한과 거의 일치하며, 오직 $d$ 대신 $d/2$ 요소와 로그 항의 차이 외에는 일치한다.
• 큰 부드러움 파라미터 $\nu$ 를 가진 매테른 커널의 경우, 하한은 상한과 로그 인자 범위 내에서 일치하며, 거의 최적임을 시사한다.
• 이 하한은 노이즈 없는 비베이지안 설정에서 유도되었으며, 통계적 노이즈 영향으로부터 함수 클래스의 본질적 복잡도를 분리한다.
• 분석 결과, EGO의 복잡도는 본질적으로 RKHS의 메트릭 엔트로피와 연결되어 있으며, 특정 커널 구조에 의존하지 않는 일반적인 복잡도 측도를 제공한다.
• 결과적으로 기존의 SE 및 매테른 커널 알고리즘이 최악의 경우 샘플 복잡도 측면에서 거의 최적임을 시사하며, 문제 구조를 변경하지 않는 한 향후 개선은 어렵다는 것을 암시한다.