[論文レビュー] Language-Based Bayesian Optimization Research Assistant (BORA)

A. Cisse, Xenophon Evangelopoulos+2 more|ArXiv.org|Jan 27, 2025

AI-based Problem Solving and Planning被引用数 3

ひとこと要約

BORA はベイズ最適化と大規模言語モデルを結びつけ、ドメイン知識を注入し、リアルタイムの解説を提供し、高次元でコストのかかる実験の探索を適応的に導くことで、合成データと実世界のタスクのベースラインを上回る。

ABSTRACT

Many important scientific problems involve multivariate optimization coupled with slow and laborious experimental measurements. These complex, high-dimensional searches can be defined by non-convex optimization landscapes that resemble needle-in-a-haystack surfaces, leading to entrapment in local minima. Contextualizing optimizers with human domain knowledge is a powerful approach to guide searches to localized fruitful regions. However, this approach is susceptible to human confirmation bias and it is also challenging for domain experts to keep track of the rapidly expanding scientific literature. Here, we propose the use of Large Language Models (LLMs) for contextualizing Bayesian optimization (BO) via a hybrid optimization framework that intelligently and economically blends stochastic inference with domain knowledge-based insights from the LLM, which is used to suggest new, better-performing areas of the search space for exploration. Our method fosters user engagement by offering real-time commentary on the optimization progress, explaining the reasoning behind the search strategies. We validate the effectiveness of our approach on synthetic benchmarks with up to 15 independent variables and demonstrate the ability of LLMs to reason in four real-world experimental tasks where context-aware suggestions boost optimization performance substantially.

研究の動機と目的

• 高次元のブラックボックス最適化における初期化の遅さと局所解を動機付け、対処する。
• 人間の入力への過度の依存を避けつつ、LLM を介してドメイン知識を取り入れ探索を導く。
• 探索-exploitation のバランスを調整する適応ポリシーを開発する。
• 最適化中の解釈可能な LLM 解説と仮説生成を通じてユーザーの関与を促進する。

提案手法

• ガウス過程ベースのベイズ最適化学習者とLLMを結合し、ハイブリッド最適化フレームワークを形成する。
• 現在の最適化状態の洞察と仮説を含む構造化された JSON 風コメントを生成するようLLMsを再利用する。
• 問題の文脈と目的を初期化するための Experiment Card を用い、初期の仮説とサンプルを生成する。
• GP の不確実性と plateau/ダイナミクス指標に基づいて Vanilla BO、LLM ガイド付きサンプリング、LLM ガイド付き選択を切り替える適応的ヒューリスティック方針を実装する。
• rolling trust スコアを介して LLM の介入有用性を追跡する信頼メカニズムを導入し、 plateau の長さ m を調整する。

Figure 1: BORA framework. Icons from Flaticon ( 2025 ) .

実験結果

リサーチクエスチョン

• RQ1 BORA は合成データと実世界のタスクにおいて、静的事前分布やベスト-BO_baselineと比較して探索効率と収束速度を改善するか？
• RQ2 LLM 生成の仮説と解説は高次元空間で高目的関数領域の発見を有意に加速できるか？
• RQ3 適応的ポリシーは最適化の進行に伴い LLm の関与をどのように調整し、コスト・性能・安定性のバランスをとるか？

主な発見

• BORA は高次元問題（10D Levy、15D Ackley）および複数の実世界タスクでベースラインを大幅に上回る。
• LLM を用いた初期サンプリングは有望領域の特定を助け、動的な仮説が探索を改善し停滞を緩和する。
• 水素生産の実験では ColaBO に対して累積 regret を 47% 減少させ、複雑な空間での収束の速さを示す。
• 適応的信頼と plateau 調整を伴う動的な BO/LLM シナジーは、静的な専門家プリオールを超える持続的な性能向上をもたらす。
• アブレーション研究は、ハイブリッドアプローチが LLM のみの使用や静的知識プリオリに比べて有利であることを示す。

Figure 2: The LLM agent commenting and refining its hypotheses on the Sugar Beet Production experiment (complete comment in the SM). This experiment is detailed in Section 4.1 .