[논문 리뷰] Language-Based Bayesian Optimization Research Assistant (BORA)

A. Cisse, Xenophon Evangelopoulos외 2명|ArXiv.org|2025. 01. 27.

AI-based Problem Solving and Planning인용 수 3

한 줄 요약

BORA는 Bayesian 최적화와 LLM을 결합하여 도메인 지식을 주입하고, 실시간 해설을 제공하며, 고차원이고 비용이 큰 실험에서 탐색을 적응적으로 안내하고, 합성 및 실제 작업에서 baselines를 능가합니다.

ABSTRACT

Many important scientific problems involve multivariate optimization coupled with slow and laborious experimental measurements. These complex, high-dimensional searches can be defined by non-convex optimization landscapes that resemble needle-in-a-haystack surfaces, leading to entrapment in local minima. Contextualizing optimizers with human domain knowledge is a powerful approach to guide searches to localized fruitful regions. However, this approach is susceptible to human confirmation bias and it is also challenging for domain experts to keep track of the rapidly expanding scientific literature. Here, we propose the use of Large Language Models (LLMs) for contextualizing Bayesian optimization (BO) via a hybrid optimization framework that intelligently and economically blends stochastic inference with domain knowledge-based insights from the LLM, which is used to suggest new, better-performing areas of the search space for exploration. Our method fosters user engagement by offering real-time commentary on the optimization progress, explaining the reasoning behind the search strategies. We validate the effectiveness of our approach on synthetic benchmarks with up to 15 independent variables and demonstrate the ability of LLMs to reason in four real-world experimental tasks where context-aware suggestions boost optimization performance substantially.

연구 동기 및 목표

• 고차원 블랙박스 최적화에서 느린 초기화와 로컬 최적점 문제를 해소하고 개선한다.
• 인간 입력에 지나친 의존 없이 탐색을 이끌도록 LLM를 통해 도메인 지식을 통합한다.
• 탐색-활용 균형을 맞추고 LLM 참여를 조절하는 적응형 정책을 개발한다.
• 최적화 중 해석 가능한 LLM 해설과 가설 생성을 통해 사용자 참여를 가능하게 한다.

제안 방법

• 가우시안 프로세스 기반의 베이지안 최적화 학습자와 LLM을 결합하여 하이브리드 최적화 프레임워크를 구성한다.
• 현재 최적화 상태에 대한 인사이트와 가설을 포함하는 구조화된 JSON 유사 Comments를 생성하도록 LLM을 재목적화한다.
• Problem context 및 objective로 LLM을 초기화하기 위해 Experiment Card를 사용하고 초기 가설과 샘플을 생성한다.
• GP 불확실성과 plateau/dynamics 지표에 따라 Vanilla BO, LLM 유도 샘플링, LLM 유도 선택 사이를 전환하는 적응적 휴리스틱 정책을 구현한다.
• LLM 개입 효용을 순환 신뢰 점수로 추적하고 이에 따라 plateau 기간 m을 조정하는 신뢰 메커니즘을 도입한다.

Figure 1: BORA framework. Icons from Flaticon ( 2025 ) .

실험 결과

연구 질문

• RQ1 합성 및 실제 작업에서 정적 사전 분포 또는 일반 보 기준선과 비교하여 BORA가 탐색 효율성과 수렴 속도를 개선합니까?
• RQ2 LLM이 생성한 가설과 해설이 고차원 공간에서 높은 목표 함수를 가지는 영역을 찾는 데 실질적으로 속도를 높일 수 있습니까?
• RQ3 적응형 정책이 최적화 진행 과정에서 비용, 성능 및 안정성을 균형 있게 관리하도록 LLM 참여를 어떻게 조절합니까?

주요 결과

• BORA는 더 높은 차원 문제(10D Levy, 15D Ackley)와 여러 실제 작업에서 기준선보다 유의하게 우수하다.
• LLM 정보로 초기 샘플링이 유망한 영역을 식별하는 데 도움되며, 동적 가설이 탐색을 개선하고 침체를 완화한다.
• 수소 생산 실험은 ColaBO에 비해 누적 후회가 47% 감소했음을 보여주며, 복잡한 공간에서 더 빠른 수렴을 입증한다.
• 적응형 신뢰 및 plateau 조정과 함께하는 동적 BO/LLM 시너지는 정적 전문가 사전 지식보다 지속적인 성능 향상을 얻는다.
• 절단 연구는 LLM 단독 사용 및 정적 지식 사전보다 하이브리드 접근의 이점을 나타낸다.

Figure 2: The LLM agent commenting and refining its hypotheses on the Sugar Beet Production experiment (complete comment in the SM). This experiment is detailed in Section 4.1 .