[论文解读] Meta-Learning Acquisition Functions for Transfer Learning in Bayesian Optimization

Michael Volpp, Lukas P. Fröhlich+5 more|arXiv (Cornell University)|Apr 4, 2019

Machine Learning and Data Classification被引用 15

一句话总结

该论文提出 MetaBO，一种元学习框架，通过强化学习训练神经网络获取函数（AF），以实现在贝叶斯优化中的迁移学习。通过从源任务中学习特定任务的优化策略，MetaBO 在仿真到现实的控制任务、超参数调优以及通用函数类别中均实现了卓越的数据效率，优于标准 AF（如期望改进）和任务感知 AF，即使在不存在结构模式的情况下也表现更优。

ABSTRACT

Transferring knowledge across tasks to improve data-efficiency is one of the open key challenges in the field of global black-box optimization. Readily available algorithms are typically designed to be universal optimizers and, therefore, often suboptimal for specific tasks. We propose a novel transfer learning method to obtain customized optimizers within the well-established framework of Bayesian optimization, allowing our algorithm to utilize the proven generalization capabilities of Gaussian processes. Using reinforcement learning to meta-train an acquisition function (AF) on a set of related tasks, the proposed method learns to extract implicit structural information and to exploit it for improved data-efficiency. We present experiments on a simulation-to-real transfer task as well as on several synthetic functions and on two hyperparameter search problems. The results show that our algorithm (1) automatically identifies structural properties of objective functions from available source tasks or simulations, (2) performs favourably in settings with both scarse and abundant source data, and (3) falls back to the performance level of general AFs if no particular structure is present.

研究动机与目标

• 通过从源任务迁移知识，解决贝叶斯优化（BO）在重复相似任务中数据效率低下的挑战。
• 克服通用获取函数（如期望改进）缺乏任务特定适应性的局限。
• 开发一种适用于黑箱优化场景的迁移学习方法，无需梯度信息。
• 实现对源任务中目标函数结构模式的自动发现与利用。
• 在不存在可利用结构时，通过退回到基线 AF 性能确保方法的鲁棒性。

提出的方法

• 使用强化学习在一组源任务上训练神经网络以表示获取函数（神经 AF）。
• 采用策略梯度方法（PPO）基于每集中的累积遗憾减少来优化神经 AF 的参数。
• 设计神经 AF 的输入，包含 GP 后验均值、方差和查询点特征，但不包含输入位置，以实现维度无关的迁移。
• 在从具有受控核超参数（RBF、Matern-5/2）的 GP 先验中采样的源任务分布上进行神经 AF 的元训练。
• 在无需微调的情况下将学习到的神经 AF 应用于新目标任务，实现对新维度或配置的零样本适应。
• 在元训练期间使用交叉验证确定早停策略，以确保泛化性并避免对源数据过拟合。

实验结果

研究问题

• RQ1 在数据稀缺的贝叶斯优化设置中，元学习的神经获取函数是否能优于标准获取函数？
• RQ2 该方法在在多大程度上能自动检测并利用源任务中目标函数的结构模式？
• RQ3 当源数据有限与丰富时，该方法的性能表现如何？
• RQ4 在元训练中未见过的输入维度的新任务上，神经 AF 是否能保持性能？
• RQ5 当函数类别中不存在可利用结构时，该方法是否会平稳退化至基线性能？

主要发现

• 在仿真到现实的控制任务中，MetaBO 显著优于期望改进（EI）和任务感知 AF（TAF），在更少评估次数下实现了更低的遗憾。
• 在两个超参数优化任务（SVM 和 AdaBoost）中，MetaBO 学习到了数据高效的神经 AF，即使使用与 TAF 相同的源数据量，其性能仍超越 EI 和 TAF。
• 在无显式结构的通用函数类别中（RBF 和 Matern-5/2 核函数，长度尺度 ∈ [0.05, 0.5]），MetaBO 的神经 AF 性能至少与 EI 相当，表现出稳健的退化行为。
• 在 3D 任务上训练的、维度无关的 MetaBO 版本，无需微调即可应用于 4D 和 5D 问题，且在所有维度上均保持了强劲性能。
• MetaBO 有效识别并利用了源任务中目标函数的结构模式，从而实现更快收敛和更低遗憾。
• 该方法在多种设置下表现一致，包括源数据稀疏和丰富的情况，证明了其在现实世界优化中的广泛适用性。