[论文解读] Bayesian Optimization over Sets.

Jungtaek Kim, Michael McCourt+3 more|arXiv (Cornell University)|May 23, 2019

Machine Learning and Algorithms参考文献 23被引用 9

一句话总结

本文提出了一种针对具有集合输入的黑箱函数的贝叶斯优化方法，采用一种新颖的集合核，确保排列不变性并处理可变大小的集合。为降低计算成本，提出了一种保持正定性和无偏性的核的随机近似方法，在数值实验中优于现有方法。

ABSTRACT

We propose a Bayesian optimization method over sets, to minimize a black-box function that can take a set as single input. Because set inputs are permutation-invariant and variable-length, traditional Gaussian process-based Bayesian optimization strategies which assume vector inputs can fall short. To address this, we develop a Bayesian optimization method with \emph{set kernel} that is used to build surrogate functions. This kernel accumulates similarity over set elements to enforce permutation-invariance and permit sets of variable size, but this comes at a greater computational cost. To reduce this burden, we propose a more efficient probabilistic approximation which we prove is still positive definite and is an unbiased estimator of the true set kernel. Finally, we present several numerical experiments which demonstrate that our method outperforms other methods in various applications.

研究动机与目标

• 解决输入为集合（具有排列不变性且长度可变）的黑箱函数优化挑战。
• 开发一种尊重集合结构特性的代理建模方法，与标准基于向量的高斯过程不同。
• 在保持理论性质（如正定性）的前提下，降低集合核计算的计算成本。
• 在传统方法失效或表现不佳的基准应用中，证明所提方法的有效性。

提出的方法

• 该方法引入一种集合核，通过累积集合元素间的相似性来实现排列不变性并支持可变大小的输入。
• 该核使用对称函数来聚合集合中元素之间的成对相似性。
• 提出一种集合核的随机近似方法，通过采样元素子集来估计完整核，从而降低计算复杂度。
• 证明该近似方法为正定核，且是真实集合核的无偏估计器，确保有效的贝叶斯推断。
• 在高斯过程框架内使用该核构建代理模型，支持贝叶斯优化中的获取函数优化。
• 将代理模型与标准获取函数（如期望改进）集成，以指导集合上的搜索。

实验结果

研究问题

• RQ1 能否设计一种核，用于在贝叶斯优化中建模集合输入，同时保持排列不变性并支持可变长度？
• RQ2 如何在不牺牲理论保证的前提下，降低完整集合核评估的高计算成本？
• RQ3 所提方法在基于集合的优化任务中是否优于使用向量化输入的标准贝叶斯优化？
• RQ4 集合核的随机近似方法是否在计算效率和统计有效性方面均表现良好？

主要发现

• 所提出的集合核成功建模了可变大小集合上的排列不变函数，实现了精确的代理建模。
• 集合核的随机近似被证明是正定核，且为真实核的无偏估计器。
• 在多个数值实验中，该方法相比基线方法实现了更优的优化性能。
• 该近似方法的计算效率使得在完整核计算无法支持的大规模集合上实现实际部署成为可能。