[논문 리뷰] A Domain-Shrinking based Bayesian Optimization Algorithm with Order-Optimal Regret Performance

Sudeep Salgia, Sattar Vakili외 1명|arXiv (Cornell University)|2020. 10. 27.

Advanced Bandit Algorithms Research참고 문헌 60인용 수 6

한 줄 요약

이 논문은 고성능 함수 영역을 국소화하기 위해 트리 기반의 자르기 및 정밀화 과정을 통한 반복적 도메인 축소를 사용하는 가우시안 프로세스 기반 베이지안 최적화 알고리즘인 GP-ThreDS를 제안한다. 이는 GP-UCB 대비 $O(T^{2d-1})$의 계산 복잡도 감소를 통해 순서적으로 최적의 손실 성능(로그함수 요소를 제외한)을 달성하면서도 학습 효율성과 고차원 문제에 대한 계산 확장성 모두 확보한다.

ABSTRACT

We consider sequential optimization of an unknown function in a reproducing kernel Hilbert space. We propose a Gaussian process-based algorithm and establish its order-optimal regret performance (up to a poly-logarithmic factor). This is the first GP-based algorithm with an order-optimal regret guarantee. The proposed algorithm is rooted in the methodology of domain shrinking realized through a sequence of tree-based region pruning and refining to concentrate queries in increasingly smaller high-performing regions of the function domain. The search for high-performing regions is localized and guided by an iterative estimation of the optimal function value to ensure both learning efficiency and computational efficiency. Compared with the prevailing GP-UCB family of algorithms, the proposed algorithm reduces computational complexity by a factor of $O(T^{2d-1})$ (where $T$ is the time horizon and $d$ the dimension of the function domain).

연구 동기 및 목표

• 기존의 GP 기반 베이지안 최적화 알고리즘과 손실의 이론적 하한 사이의 격차를 메우기 위해.
• 특히 전역 UCB 최대화에서 기인하는 $O(T^{2d+3})$의 계산 복잡도를 해결하기 위해.
• 적응적인 도메인 축소를 통해 점점 더 작은 고성능 영역에 쿼리를 집중시켜 학습 효율성을 향상시키기 위해.
• 전역 최적화를 피하고 국소화된 트리 기반 검색을 통해 계산 효율성을 확보하기 위해.
• GP 기반 방법에 대해 순서적으로 최적(다항로그 요소를 제외한)의 이론적 손실 보장을 수립하기 위해.

제안 방법

• 알고리즘은 도메인 $\mathcal{X}$를 이진 트리로 반복적으로 분할하여 고성능 영역의 국소적이고 적응적인 정밀화를 가능하게 한다.
• 각 시간 단계에서 알고리즘은 최적의 함수 값을 추정하고, 최대화자 포함 가능성이 낮은 노드를 제거하기 위해 임계값 기반의 자르기 기준을 사용한다.
• 함수 값이 동적으로 업데이트되는 임계값을 초과하는 하위트리에 집중함으로써 알고리즘이 트리 아래로 진행되며, 고성능 영역에 집중된다.
• 전역 UCB 프록시 최대화를 피하기 위해 최적화를 작은, 정밀화된 하위도메인으로 제한함으로써 계산 비용을 감소시킨다.
• 진짜 최대화자 제외 확률을 제어하는 신뢰도 파rameter $\delta_0$는 이론적 손실 보장을 보장한다.
• 알고리즘은 활성이고 수축하는 하위도메인 내에서만 GP 사후 평균과 표준편차를 활용해 상한 신뢰도를 계산한다.

실험 결과

연구 질문

• RQ1 GP 기반 베이지안 최적화 알고리즘이 이론적 하한에 로그 요소를 제외한 순서적으로 최적의 손실 성능을 달성할 수 있는가?
• RQ2 트리 기반 자르기를 통한 도메인 축소가 손실 성능을 희생시키지 않고 GP 기반 최적화의 계산 복잡도를 감소시킬 수 있는가?
• RQ3 수축하는 하위도메인 내 국소화된 검색 전략이 전역 UCB 최대화와 비교해 손실 및 효율성 면에서 어떻게 성능을 내는가?
• RQ4 적응형 임계값 설정과 반복적 정밀화가 수렴 속도와 계산 비용에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 고차원 설정에서 시간 복잡도를 크게 감소시키면서도 강력한 손실 보장을 유지할 수 있는가?

주요 결과

• GP-ThreDS는 다항로그 요소를 제외한 이론적 하한에 순서적으로 최적의 손실 성능를 달성하여, 이와 같은 보장을 갖는 첫 번째 GP 기반 알고리즘이다.
• 알고리즘은 GP-UCB 대비 $O(T^{2d-1})$의 계산 복잡도 감소를 이룩하였으며, 주로 전역 UCB 최대화를 피하기 때문이다.
• MNIST에서 CNN의 하이퍼파ram터 튜닝에서 GP-ThreDS는 GP-UCB, IGP-UCB, EI, PI보다 평균 손실이 낮게 나타났으며, 특히 제한된 월클럭 시간 내에서 뛰어난 성능 보였다.
• GP-ThreDS의 최적화 시간은 AD와 유사했고, IGP-UCB와 EI보다는 유의미하게 낮아 계산 효율성이 뛰어났다.
• 유사한 최적화 시간에도 불구하고, GP-ThreDS는 CNN 학습 시간을 포함한 총 시간이 다른 알고리즘보다 유의미하게 낮아, 더 빠른 수렴과 더 나은 하이퍼파ram터 선택 덕분이었다.
• 10회의 몬테카를로 시행에서 알고리즘의 성능은 손실 감소와 시간 효율성 면에서 일관되게 뛰어나게 유지되었다.