[논문 리뷰] SnAKe: Bayesian Optimization with Pathwise Exploration

Jose Pablo Folch, Shiqiang Zhang외 6명|arXiv (Cornell University)|2022. 01. 31.

Innovative Microfluidic and Catalytic Techniques Innovation인용 수 8

한 줄 요약

SnAKe는 입력 비용을 최소화하기 위해 저비용 경로를 따라 순차적으로 쿼리를 정렬하는 베이지안 최적화 방법을 제안한다. 이는 이질적이고 고비용 변화가 발생하는 환경에서도 효율적인 최적화를 가능하게 한다. 기존 BO와 유사한 리그레트 성능을 달성하면서도 입력 비용을 최대 4배까지 감소시켜, 지연된 피드백과 큰 입력 변화 페널티 조건에서 특히 효과적이다.

ABSTRACT

Bayesian Optimization is a very effective tool for optimizing expensive black-box functions. Inspired by applications developing and characterizing reaction chemistry using droplet microfluidic reactors, we consider a novel setting where the expense of evaluating the function can increase significantly when making large input changes between iterations. We further assume we are working asynchronously, meaning we have to select new queries before evaluating previous experiments. This paper investigates the problem and introduces 'Sequential Bayesian Optimization via Adaptive Connecting Samples' (SnAKe), which provides a solution by considering large batches of queries and preemptively building optimization paths that minimize input costs. We investigate some convergence properties and empirically show that the algorithm is able to achieve regret similar to classical Bayesian Optimization algorithms in both synchronous and asynchronous settings, while reducing input costs significantly. We show the method is robust to the choice of its single hyper-parameter and provide a parameter-free alternative.

연구 동기 및 목표

• 블랙박스 최적화에서 쿼리 간 큰 변화로 인한 높은 입력 비용 문제를 해결한다.
• 결과가 지연되고 이전 결과가 도착하기 전에 새로운 쿼리를 선택해야 하는 이방성 피드백 환경에서 효과적인 최적화를 가능하게 한다.
• 전통적 베이지안 최적화와 경쟁 가능한 리그레트 성능를 유지하면서 누적 입력 비용을 최소화한다.
• 하이퍼파rameter 선택에 강건한 방법을 개발하고 실용적 구현을 위한 파라미터 없는 대안을 제공한다.

제안 방법

• SnAke는 쿼리를 연속된 점들 간의 입력 변화의 합을 최소화하도록 순서를 정하는 경로 선택 문제로 최적화를 재정의한다.
• 예상 향상도와 입력 비용 페널티를 기반으로 사전에 계산하고 우선순위를 정하는 경로 기반 탐색 전략을 사용한다.
• 큰 입력 전이를 페널티 처리하는 비용 인식 확보 함수를 도입하며, 단위 비용당 기대 향상도의 수정된 형태인 γEIpu(x) = EI(x)/(γ + Cost(x, x_{t-1}))를 사용한다.
• 새로운 관측치가 도착함에 따라 최적화 경로를 동적으로 갱신하며, 탐색과 비용 인식 경로 선택의 균형을 유지한다.
• 관측된 입력 변화에 기반해 비용 페널티를 적응적으로 조정함으로써 파라미터 없는 변형을 도입한다.
• Hartmann 및 SnAr와 같은 벤치마크 함수를 사용하여 동기 및 이방성 환경에서의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 높은 전이 비용이 발생하는 환경에서, 베이지안 최적화 방법이 상당한 입력 비용 감소를 이룩하면서도 낮은 리그레트 성능를 유지할 수 있는가?
• RQ2 지연된 피드백이 있는 이방성 환경에서, 경로 기반 쿼리 순서 정렬은 표준 BO보다 어떻게 성능이 뛰어나게 되는가?
• RQ3 SnAKe는 유일한 하이퍼파rameter 선택에 얼마나 강건한가? 그리고 파라미터 없는 변형을 효과적으로 유도할 수 있는가?
• RQ4 다양한 지연 조건 하에서 다양한 벤치마크 함수와 입력 차원에서 이 방법은 어떻게 성능를 보이는가?
• RQ5 쿼리 순서를 고려하지 않는 비용 인식 확보 함수보다 경로 기반 비용 인식 전략이 더 뛰어난가?

주요 결과

• SnAKe는 동기 및 이방성 환경 모두에서 지연 피드백 조건에서도 전통적 베이지안 최적화와 유사한 리그레트 성능를 달성한다.
• 낮은 입력 비용 예산 조건에서 SnAke는 UCBwLP 대비 입력 비용을 최대 4배까지 감소시키며 최고의 리그레트 성능를 유지한다.
• 높은 지연(지연 시간 t_delay = 25) 조건의 이방성 환경에서 SnAke는 EIpuLP 및 UCBwLP를 능가하며, 훨씬 낮은 비용으로 낮은 리그레트 성능를 달성한다.
• 하이퍼파rameter 선택에 대해 강건하며, 다양한 벤치마크와 지연 조건에서 일관된 성능를 보인다.
• 파라미터 없는 변형은 경쟁적인 성능를 보이며, 튜닝 없이도 실용적인 사용이 가능함을 입증한다.
• Hartmann 및 SnAr 벤치마크에서 SnAke는 낮은 리그레트를 유지하면서도 가장 낮은 비용을 기록했으며, 특히 큰 예산 조건(T=100)에서 두드러진 성능를 보였다.