[论文解读] Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces

Alexander Thebelt, Calvin Tsay+5 more|arXiv (Cornell University)|Jul 2, 2022

Machine Learning and Data Classification被引用 5

一句话总结

该论文提出了一种树集成核高斯过程框架用于贝叶斯优化，可在混合特征空间中实现不确定性量化和约束优化。通过将树集成解释为高斯过程先验，该方法高效计算模型方差，并将获取函数的最大化问题形式化为混合整数二阶锥规划问题，以在已知约束下进行优化，其在约束性、混合变量黑箱优化任务上优于最先进方法。

ABSTRACT

Tree ensembles can be well-suited for black-box optimization tasks such as algorithm tuning and neural architecture search, as they achieve good predictive performance with little or no manual tuning, naturally handle discrete feature spaces, and are relatively insensitive to outliers in the training data. Two well-known challenges in using tree ensembles for black-box optimization are (i) effectively quantifying model uncertainty for exploration and (ii) optimizing over the piece-wise constant acquisition function. To address both points simultaneously, we propose using the kernel interpretation of tree ensembles as a Gaussian Process prior to obtain model variance estimates, and we develop a compatible optimization formulation for the acquisition function. The latter further allows us to seamlessly integrate known constraints to improve sampling efficiency by considering domain-knowledge in engineering settings and modeling search space symmetries, e.g., hierarchical relationships in neural architecture search. Our framework performs as well as state-of-the-art methods for unconstrained black-box optimization over continuous/discrete features and outperforms competing methods for problems combining mixed-variable feature spaces and known input constraints.

研究动机与目标

• 解决基于树集成的贝叶斯优化在混合变量和约束搜索空间中的不确定性量化挑战。
• 为处理树集成产生的分段常数响应，开发一种可微且与优化兼容的获取函数公式化方法。
• 将已知的领域特定约束（如层次关系和条件特征依赖）整合到优化过程中，以提高采样效率。
• 在具有结构约束的连续、离散和分类特征上实现可扩展且高效的贝叶斯优化，尤其适用于工程和神经架构搜索场景。
• 提供一种实用的开源实现，使其在具有约束的混合类型优化基准上优于现有方法。

提出的方法

• 该方法通过基于树一致性比率的核函数，将树集成解释为高斯过程先验，从而实现合理的不确定性量化。
• 将获取函数优化形式化为混合整数二阶锥规划（MISOCP），实现对不连续、分段常数响应曲面的精确优化。
• 通过将变量层次结构和条件依赖关系直接编码到核结构和优化公式中，使树集成核支持已知约束。
• 通过适当的核函数和约束设计，该框架支持混合变量空间中连续、整数和分类特征的建模。
• 采用一个超参数——树一致性比率，用于表示模型不确定性，实证表明其足以有效引导探索。
• 通过兼容的MISOCP公式化实现优化，支持在约束条件下对获取函数进行高效且全局的优化。

实验结果

研究问题

• RQ1 树集成核能否被有效解释为高斯过程先验，以在黑箱优化中实现可靠的不确定性量化？
• RQ2 如何为具有不连续、分段常数响应曲面的树集成模型高效地形式化获取函数优化？
• RQ3 在树集成基贝叶斯优化中，已知的输入约束（如层次依赖或条件特征激活）能在多大程度上被整合，以提高采样效率？
• RQ4 所提出的基于MISOCP的获取函数优化是否在约束性、混合变量优化设置中优于基于采样的策略？
• RQ5 在具有复杂特征约束的基准测试中，所提出方法与最先进贝叶斯优化算法相比表现如何？

主要发现

• 所提出的树集成核高斯过程框架在涉及连续和离散特征的无约束黑箱优化任务中，性能与最先进方法相当。
• 在具有混合变量特征空间和已知输入约束的问题上，该方法显著优于现有竞争方法，尤其在神经架构搜索基准中表现突出。
• 将树一致性比率作为模型不确定性的代理，已被证明足以有效引导搜索空间中的探索。
• 与基于采样的策略相比，获取函数优化的MISOCP公式化在收敛性和采样效率方面表现更优，尤其在复杂约束条件下。
• 该框架成功处理了层次和条件特征依赖关系，例如在神经架构中禁用非活跃层的超参数，从而提升了优化效率。
• 已提供开源实现，支持可复现性，并可集成到实际工程和机器学习工作流中。