[论文解读] Bayesian Optimization with Approximate Set Kernels

Jungtaek Kim, Michael McCourt+3 more|arXiv (Cornell University)|May 23, 2019

Gaussian Processes and Bayesian Inference参考文献 43被引用 4

一句话总结

该论文提出了一种用于输入为集合的黑箱函数的贝叶斯优化框架，通过使用一种高效且无偏的排列不变集合核近似方法，降低了计算成本。该方法通过利用对称性的采集函数优化，实现了对集合的有效优化，并在超参数调优、聚类初始化以及点云上的主动最近邻搜索任务中表现出优越性能。

ABSTRACT

We propose a practical Bayesian optimization method over sets, to minimize a black-box function that takes a set as a single input. Because set inputs are permutation-invariant, traditional Gaussian process-based Bayesian optimization strategies which assume vector inputs can fall short. To address this, we develop a Bayesian optimization method with \emph{set kernel} that is used to build surrogate functions. This kernel accumulates similarity over set elements to enforce permutation-invariance, but this comes at a greater computational cost. To reduce this burden, we propose two key components: (i) a more efficient approximate set kernel which is still positive-definite and is an unbiased estimator of the true set kernel with upper-bounded variance in terms of the number of subsamples, (ii) a constrained acquisition function optimization over sets, which uses symmetry of the feasible region that defines a set input. Finally, we present several numerical experiments which demonstrate that our method outperforms other methods.

研究动机与目标

• 解决输入为集合的黑箱函数优化挑战，此类输入具有排列不变性，且标准基于向量的高斯过程方法难以有效处理。
• 开发一种计算高效的集合输入代理建模技术，基于真实集合核的正定且无偏近似。
• 通过利用可行集空间的对称性，实现对集合上采集函数的高效优化。
• 提供理论上的累积遗憾边界，以保证在迭代次数上的收敛质量。
• 在真实世界应用中验证该方法的有效性，如聚类初始化和三维点云上的主动最近邻搜索。

提出的方法

• 提出一种集合核，通过累积集合元素间的相似性，以在高斯过程回归中实现排列不变性。
• 引入一种基于随机子采样的近似集合核，将计算成本从 $\mathcal{O}(n^2m^2d)$ 降低至 $\mathcal{O}(n^2L^2d)$（其中 $L < m$），同时保持无偏性且方差有界。
• 采用约束型采集函数优化策略，利用集合输入空间中的对称性以提高效率。
• 使用拒绝采样方法，高效地在集合输入的对称可行区域内优化采集函数。
• 将高斯过程上置信界（GP-UCB）作为采集函数，通过超参数 $\beta_n$ 平衡探索与利用。
• 提供理论分析，推导累积遗憾边界，确保优化过程在迭代次数上的收敛性。

实验结果

研究问题

• RQ1 能否为集合上的高斯过程回归构建一种计算高效且排列不变的核函数？
• RQ2 如何在不牺牲统计一致性的情况下，降低精确集合核计算的高计算成本？
• RQ3 能否通过利用输入空间的对称性，使集合上的采集函数优化更加高效？
• RQ4 与基线方法相比，该方法在真实世界集合基优化任务中是否表现出更优的优化性能？
• RQ5 所提出的集合上贝叶斯优化框架的理论收敛行为如何？

主要发现

• 在软 $k$-均值聚类的超参数调优中，该方法优于基线，以更少的迭代次数达到更低的目标值。
• 在 ModelNet40 上的主动最近邻搜索中，该方法在 20 次迭代后达到 Chamfer 距离 $38.422 \pm 12.807$，显著优于 DeepSets 基线。
• 近似集合核将计算时间从 $104.330 \times 10^3$ 秒（$L=20$ 时）降低至 $1.133 \times 10^3$ 秒（$L=1$ 时），同时保持较低误差。
• 与使用均值、最大值或求和聚合的 DeepSets 相比，该方法在最近邻检索准确率上提升了 10% 至 20%。
• 实证结果证实了近似核的无偏性，其方差在子样本数 $L$ 上有上界。
• 理论分析表明，该框架实现了累积遗憾边界，保证了在迭代次数上的收敛性。