[논문 리뷰] Neural Nonmyopic Bayesian Optimization in Dynamic Cost Settings

Sang Truong, Duc Quang Nguyen외 5명|arXiv (Cornell University)|2026. 01. 10.

Advanced Bandit Algorithms Research인용 수 0

한 줄 요약

LookaHES는 동적이고 히스토리 의존 비용을 가지는 비근시적(Bayesian) 최적화 프레임워크로, 신경망 정책과 pathwise 샘플링을 사용해 장기 horizon(20+ 단계)을 계획하며 합성 및 실제 작업에서 근시적 및 일부 비근시적 기준선보다 우수합니다.

ABSTRACT

Bayesian optimization (BO) is a common framework for optimizing black-box functions, yet most existing methods assume static query costs and rely on myopic acquisition strategies. We introduce LookaHES, a nonmyopic BO framework designed for dynamic, history-dependent cost environments, where evaluation costs vary with prior actions, such as travel distance in spatial tasks or edit distance in sequence design. LookaHES combines a multi-step variant of $H$-Entropy Search with pathwise sampling and neural policy optimization, enabling long-horizon planning beyond twenty steps without the exponential complexity of existing nonmyopic methods. The key innovation is the integration of neural policies, including large language models, to effectively navigate structured, combinatorial action spaces such as protein sequences. These policies amortize lookahead planning and can be integrated with domain-specific constraints during rollout. Empirically, LookaHES outperforms strong myopic and nonmyopic baselines across nine synthetic benchmarks from two to eight dimensions and two real-world tasks: geospatial optimization using NASA night-light imagery and protein sequence design with constrained token-level edits. In short, LookaHES provides a general, scalable, and cost-aware solution for robust long-horizon optimization in complex decision spaces, which makes it a useful tool for researchers in machine learning, statistics, and applied domains. Our implementation is available at https://github.com/sangttruong/nonmyopia.

연구 동기 및 목표

• Bayesian 최적화에서 동적이고 히스토리 의존 평가 비용을 다룬다.
• 전통적인 네 단계 예측을 넘어선 확장 가능한 장기 계획을 가능하게 한다.
• 의사결정 변수 최적화 및 구조화된 액션 공간 처리를 위해 신경망 정책을 통합한다.
• 합성 벤치마크와 실제 도메인(프로틴 디자인, 지리공간 최적화)에서의 효과를 보여준다.
• 노이즈 및 비용 구조에 대한 로버스트함을 보이는 구현 및 실증 평가를 제공한다.

제안 방법

• H-Entropy Search(HES)를 다단계(EHIG)로 확장하여 동적 비용을 가진 비근시적 보트를 형식화한다.
• LookaHES를 도입해 다단계 HES와 pathwise 샘플링 및 신경망 정책 최적화를 결합해 최적화 매개변수와 궤적 샘플 수를 줄인다.
• 동적 비용(마르코프 및 비마르코프)을 모델링하고 획득 목적에 Lagrangian 예산 항을 통합한다.
• 순환 신경망 정책(RNN/트랜스포머 기반)을 사용해 lookahead 의사결정을 변분적으로 최적화하고 horizon 의존 매개변수 증가를 줄인다.
• pathwise 샘플링을 적용해 환상적 궤적을 생성하고 롤아웃의 복잡도를 지수적으로 감소시킨다.
• 토큰 임베딩과 적절한 미분 기법(재매개화 또는 정책 그래디언트)을 이용해 이산 및 연속 공간을 처리한다.

실험 결과

연구 질문

• RQ1 RQ1: LookaHES는 연속 입력에서 동적 비용하에 첨단의 근시적 및 비근시적 기준선과 어떻게 비교되는가?
• RQ2 RQ2: LookaHES를 이산 입력 공간 문제에 효과적으로 적용할 수 있는가?
• RQ3 RQ3: 애놀릭/에피스테믹 노이즈, 대리모형 품질, 예측 horizon이 LookaHES 성능에 어떤 영향을 주는가?
• RQ4 RQ4: 근시적 방법의 낙관주의가 비근시적 방법보다 더 나은 성능으로 이어지는가, 그리고 이 낙관주의가 실제 문제로 일반화될 수 있는가?

주요 결과

• LookaHES는 다양한 비용 구조에서도 근시적 기준선을 지속적으로 능가하며 합리적 기준선들과도 합리적으로 경쟁한다(합성 벤치마크에서).
• 해로운 롤아웃 복잡성을 신경망 정책 최적화와 pathwise 샘플링으로 해결해 20단계 이상 horizon에 스케일링한다.
• LookaHES는 이산적 단백질 서열 설계에서 우수한 성능을 보이며, 스포트라이트 비용 하에서 편집을 안내하는 언어모델 기반 정책을 활용한다.
• 연속 지구관측 지리공간 최적화에서 LookaHES는 동적 비용 하에서 기준선 대비 강력한 개선을 보인다.
• 단백질 편집에 대해 LLaMa-3.2 기반 정책을 사용해 제약된 편집과 누적 후회를 낮추면서 형광을 더 높이는 성과를 보였다(근시적 방법 대비).
• 이 방법론은 9개의 합성 벤치마크(2D–8D)와 두 개의 실제 작업에 걸쳐 일반성과 확장성을 보여준다.