[论文解读] End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes

Alexandre Maraval, Matthieu Zimmer+2 more|arXiv (Cornell University)|May 25, 2023

Machine Learning and Data Classification被引用 4

一句话总结

该论文提出了一种基于Transformer的神经过程的端到端可微分元贝叶斯优化框架，用于联合学习代理模型和获取函数。通过结合强化学习与辅助的概率归纳偏置，该方法在超参数调优、抗体设计和电子设计自动化任务中均实现了最先进（SOTA）的遗憾性能。

ABSTRACT

Meta-Bayesian optimisation (meta-BO) aims to improve the sample efficiency of Bayesian optimisation by leveraging data from related tasks. While previous methods successfully meta-learn either a surrogate model or an acquisition function independently, joint training of both components remains an open challenge. This paper proposes the first end-to-end differentiable meta-BO framework that generalises neural processes to learn acquisition functions via transformer architectures. We enable this end-to-end framework with reinforcement learning (RL) to tackle the lack of labelled acquisition data. Early on, we notice that training transformer-based neural processes from scratch with RL is challenging due to insufficient supervision, especially when rewards are sparse. We formalise this claim with a combinatorial analysis showing that the widely used notion of regret as a reward signal exhibits a logarithmic sparsity pattern in trajectory lengths. To tackle this problem, we augment the RL objective with an auxiliary task that guides part of the architecture to learn a valid probabilistic model as an inductive bias. We demonstrate that our method achieves state-of-the-art regret results against various baselines in experiments on standard hyperparameter optimisation tasks and also outperforms others in the real-world problems of mixed-integer programming tuning, antibody design, and logic synthesis for electronic design automation.

研究动机与目标

• 解决现有元贝叶斯优化方法将代理建模与获取函数学习视为独立步骤的局限性。
• 通过可微分架构实现在元BO中联合端到端训练代理模型与获取函数。
• 克服从零开始训练获取函数时强化学习中稀疏奖励的挑战。
• 通过利用相关源任务的知识，提升新优化任务中的样本效率。
• 开发一种统一的、可微分的框架，直接从观测数据预测获取函数值，而无需依赖高斯过程。

提出的方法

• 提出一种基于Transformer的神经过程架构，直接建模获取函数，实现端到端可微分的元优化。
• 采用强化学习训练获取函数策略，使用累积遗憾作为奖励信号。
• 引入辅助损失，引导子网络学习有效的概率模型，作为归纳偏置以稳定训练。
• 通过组合分析形式化了基于遗憾的奖励的对数稀疏性，证明了辅助监督的必要性。
• 使用策略梯度方法端到端训练完整模型，获取函数输出用于下一步评估点的动作概率。
• 利用神经过程的结构归纳偏置，在保持可微分性的同时实现跨任务泛化，支持联合优化。

实验结果

研究问题

• RQ1 是否存在一种统一的、端到端可微分框架，能够联合优化元贝叶斯优化中的代理建模与获取函数学习？
• RQ2 基于遗憾的奖励稀疏性如何影响基于Transformer的获取函数在强化学习中的训练稳定性？
• RQ3 辅助的概率归纳偏置是否能提升在稀疏奖励下端到端元BO的训练稳定性和性能？
• RQ4 联合学习代理模型与获取函数组件是否比解耦方法带来更高的样本效率？
• RQ5 所提出的方法是否能在包括超参数调优、抗体设计和逻辑综合在内的多样化真实世界优化任务中实现有效泛化？

主要发现

• 所提出的端到端元BO框架在标准超参数优化基准上实现了最先进（SOTA）的遗憾性能。
• 该方法在真实世界应用中优于现有基线，包括混合整数规划调优和电子设计自动化。
• 引入辅助概率归纳偏置显著稳定了训练过程，并在稀疏奖励下提升了样本效率。
• 实证结果表明，联合学习代理模型与获取函数组件可显著降低累积遗憾，优于解耦方法。
• 该框架在多样化任务中表现出良好的泛化能力，包括抗体设计中的组合序列优化与芯片设计。
• 组合分析证实，基于遗憾的奖励具有对数稀疏性，为强化学习驱动的元BO中辅助监督的必要性提供了理论依据。