[论文解读] Kernels over Sets of Finite Sets using RKHS Embeddings, with Application to Bayesian (Combinatorial) Optimization

Poompol Buathong, David Ginsbourger+3 more|Bern Open Repository and Information System (University of Bern)|Oct 9, 2019

Water Systems and Optimization参考文献 50被引用 7

一句话总结

本论文通过再生核希尔伯特空间（RKHS）嵌入，提出用于有限集合集合的深度嵌入（DE）核，实现严格正定核，且在贝叶斯优化中无需引入抖动（jitter）。与通常缺乏严格正定性的双求和（DS）核不同，所提出的DE核在组合优化中表现出更强的鲁棒性与更优的收敛性，已在合成数据及实际工程与水文地质问题中得到验证。

ABSTRACT

We focus on kernel methods for set-valued inputs and their application to Bayesian set optimization, notably combinatorial optimization. We investigate two classes of set kernels that both rely on Reproducing Kernel Hilbert Space embeddings, namely the ``Double Sum'' (DS) kernels recently considered in Bayesian set optimization, and a class introduced here called ``Deep Embedding'' (DE) kernels that essentially consists in applying a radial kernel on Hilbert space on top of the canonical distance induced by another kernel such as a DS kernel. We establish in particular that while DS kernels typically suffer from a lack of strict positive definiteness, vast subclasses of DE kernels built upon DS kernels do possess this property, enabling in turn combinatorial optimization without requiring to introduce a jitter parameter. Proofs of theoretical results about considered kernels are complemented by a few practicalities regarding hyperparameter fitting. We furthermore demonstrate the applicability of our approach in prediction and optimization tasks, relying both on toy examples and on two test cases from mechanical engineering and hydrogeology, respectively. Experimental results highlight the applicability and compared merits of the considered approaches while opening new perspectives in prediction and sequential design with set inputs.

研究动机与目标

• 解决现有集合核（如双求和DS核）缺乏严格正定性的问题，该问题会阻碍稳定贝叶斯优化。
• 通过在希尔伯特空间中组合径向核与基集合核的距离度量，提出一类新型核——深度嵌入（DE）核。
• 实现针对组合与昂贵黑箱问题的鲁棒、无抖动的贝叶斯优化，输入为集合形式。
• 在合成基准与机械工程、水文地质学等实际应用中，验证DE核在预测与优化任务中的有效性。
• 为基于RKHS的集合核框架中的超参数拟合与核参数化，提供理论与实践指导。

提出的方法

• 使用再生核希尔伯特空间（RKHS）嵌入，将有限集合映射至希尔伯特空间，从而实现基于核的学习方法在集合输入上的应用。
• 将双求和（DS）核作为基线方法，依赖于有限集合中元素之间的成对相似性，但指出其通常缺乏严格正定性。
• 通过在基核（如DS核）诱导的希尔伯特空间距离上应用径向核（如RBF），提出深度嵌入（DE）核，确保在广泛子类中具有严格正定性。
• 利用RKHS嵌入的理论性质，证明当基核为特征核时，DE核为严格正定核，从而支持稳定高斯过程推理。
• 采用期望改进（EI）策略实施贝叶斯优化，比较DE核与DS核在多次试验中的收敛性与鲁棒性。
• 通过在解析函数与机械、水文地质应用的真实数据集上进行数值实验，对超参数拟合施加几何约束并加以验证。

实验结果

研究问题

• RQ1 能否利用RKHS嵌入构建有限集合集合的严格正定核，从而克服现有DS核的局限性？
• RQ2 在无抖动条件下，DE核与DS核在优化性能与鲁棒性方面有何差异？
• RQ3 核选择对组合贝叶斯优化中收敛速度与全局最优解识别的影响如何？
• RQ4 超参数边界与参数化方式对DE核与DS核在实际应用中性能与稳定性的影响如何？
• RQ5 DE核在不同子集基数与带标记点集问题中的泛化能力如何？

主要发现

• 基于DS核构建的DE核在广泛子类中为严格正定核，消除了高斯过程推理中对抖动的依赖。
• 在污染源定位问题中，EI-DE核方法在两种场景下所有试验运行中均成功定位全局最优解，其鲁棒性与一致性优于基于DS核的EI方法。
• DS核表现出快速的初始收敛，但需仔细调节抖动参数；不当的抖动水平会降低模型精度与优化性能。
• 中位数进展曲线表明，EI-DE在优化后期阶段表现更可靠；95%分位数曲线则显示其在最坏情况下的性能更优。
• 所提出的DE核框架对昂贵黑箱组合优化问题具有鲁棒性与有效性，已在机械工程与水文地质测试案例中得到验证。
• 该方法可自然扩展至不同子集基数与带标记点集问题，适用于不确定性量化与序贯设计等更广泛的应用场景。