[논문 리뷰] Sequential search based on kriging: convergence analysis of some algorithms

Emmanuel Vázquez, Julien Bect|arXiv (Cornell University)|2011. 11. 16.

Metaheuristic Optimization Algorithms Research참고 문헌 6인용 수 13

한 줄 요약

이 논문은 베이지안 프레임워크 하에서 순차적 크리징 기반 최적화 및 근사 알고리즘의 수렴성을 분석하며, 평균 케이스 오차 비율에 초점을 맞춘다. 그들은 그레디 시퀀셜 디자인 전략이 $\mathcal{O}(n^{2\nu/d})$ 의 최적 평균 제곱 오차 감쇠 비율을 달성함을 입증하며, 특히 매트른 공분산 가정 하에서 비적응 전략에 비해 적응 전략이 더 빠른 평균 오차 감쇠를 이끌 수 있음을 보여준다.

ABSTRACT

Let $\FF$ be a set of real-valued functions on a set $\XX$ and let $S:\FF o \GG$ be an arbitrary mapping. We consider the problem of making inference about $S(f)$, with $f\in\FF$ unknown, from a finite set of pointwise evaluations of $f$. We are mainly interested in the problems of approximation and optimization. In this article, we make a brief review of results concerning average error bounds of Bayesian search methods that use a random process prior about $f$.

연구 동기 및 목표

• 함수 근사 및 글로벌 최적화를 위한 순차적 크리징 기반 알고리즘의 평균 케이스 성능을 분석하는 것.
• 다양한 전략 하에서의 평균 오차 감쇠 비율을 비교하여 베이지안 최적화에서 적응성의 이점을 평가하는 것.
• 순차적 설계 하에서 크리징 예측자의 평균 제곱 오차(MSE)에 대한 이론적 경계를 수립하는 것.
• 특히 매트른 및 홀더 연속 공분산 구조 하에서 최적화의 평균 오차 감쇠 비율을 도출하는 것.
• 그레디 순차적 설계 전략이 최악의 경우에서는 부분적으로 최적성이 아니지만, 평균 케이스 설정에서 비록 최적의 감쇠 비율을 달성할 수 있음을 보여주는 것.

제안 방법

• 모델링된 함수를 연속적이고 정상적인 공분산 함수를 가진 0 평균 가우시안 과정의 표본 경로로 간주한다.
• 크리징(조건부 기대값)을 예측자로 사용하며, 관측된 함수 값 기반 선형 시스템을 풀어 크리징 계수를 도출한다.
• 크리징 예측자의 평균 제곱 오차(MSE)를 $\sigma_n^2(x) = \mathsf{E}[(\xi(x) - \widehat{\xi}_n(x))^2]$ 로 정의하여 추정 불확실성을 측정한다.
• 공분산 함수에 대한 규칙성 가정을 적용하며, 그 푸리에 변환에 대해 $c_1(1+\|u\|^2)^{-s} \leq \tilde{\Phi}(u) \leq c_2(1+\|u\|^2)^{-s}$ 를 만족시키며, $s > d/2$ 를 요구한다.
• 그레디 순차적 설계 전략을 제안: $x_{i+1} = \arg\max_{x \in \mathbb{X}} \sigma_n^2(x; x_1, \dots, x_i)$, 각 단계에서 사후 분산을 최대화한다.
• Binev 등 (2010) 의 결과를 적용하여, 이 그레디 전략이 다항 감쇠 비율을 유지함을 증명하며, MSE 에 대한 비율 최적성(optimality)을 확립한다.

실험 결과

연구 질문

• RQ1 순차적 크리징 기반 최적화 및 근사 알고리즘의 평균 케이스 오차 감쇠 비율은 무엇인가?
• RQ2 비적응 전략에 비해 적응 전략은 크리징 기반 탐색 알고리즘의 평균 케이스 성능에 어떤 영향을 미치는가?
• RQ3 그레디 순차적 설계 전략은 평균 케이스 설정에서 평균 제곱 오차 감쇠의 최적 비율을 달성할 수 있는가?
• RQ4 매트른 또는 홀더 연속 공분산 함수 하에서 평균 최적화 오차의 최적 감쇠 비율은 무엇인가?
• RQ5 최악의 경우 분석을 초월하여 실무에서 적응 크리징 알고리즘의 경험적 성공에 대한 이론적 근거는 무엇인가?

주요 결과

• 주어진 규칙성 가정 하에서, 그레디 순차적 설계 전략 $x_{i+1} = \arg\max_x \sigma_n^2(x; x_1, \dots, x_i)$ 는 $\mathcal{O}(n^{2\nu/d})$ 의 평균 제곱 오차 감쇠 비율을 달성한다. 여기서 $\nu = s - d/2 > 0$ 이다.
• 이 비율은 Binev 등 (2010) 의 결과를 확장하여 평균 케이스 설정에서 최적임을 입증한다.
• 최적화 문제에 있어서 평균 오차 $\mathsf{E}[S(\xi) - \widehat{S}_n(\xi)]$ 는 $\alpha$-홀더 연속 공분산 하에서 $\mathcal{O}(n^{-\alpha/(2d)}(\log n)^{1/2})$ 의 비율로 감쇠하며, 매트른 과정의 경우 $\alpha = 2\nu$ 이다.
• 경계 $\mathcal{O}(n^{-\nu/d}(\log n)^{1/2})$ 는 일반적으로 날카롭지 않으며, 브라운 운동($\alpha=1$)의 최적 비적응 비율 $n^{-1/2}$ 보다 더 빠르게 감쇠할 수 있음을 시사한다. 이는 적응성의 성능 향상을 의미한다.
• 적응 알고리즘의 평균 케이스 오차에 대한 이론적 분석은 아직 제한되어 있으며, 현재는 수치 시뮬레이션을 주로 사용하여 알고리즘 성능을 평가하고 있다.
• 포괄적인 이론적 결과가 부족함에도 불구하고, 본 논문은 적응 순차적 크리징 전략이 비적응 전략보다 더 빠른 평균 오차 감쇠를 달성할 수 있음을 입증하여 실무적 적용의 타당성을 뒷받침한다.