[论文解读] High-Dimensional Bayesian Optimization via Additive Models with Overlapping Groups

Paul Rolland, Jonathan Scarlett+2 more|arXiv (Cornell University)|Feb 20, 2018

Machine Learning and Data Classification被引用 34

一句话总结

该论文提出了一种基于重叠分组的加法高斯过程模型的高维贝叶斯优化框架，实现了对复杂函数更灵活的建模。通过使用图结构表示组间关系，并利用消息传递算法高效优化获取函数，该方法在收敛性和性能上优于不相交分组模型，尤其在人脸检测和天体物理建模等实际任务中表现更优。

ABSTRACT

Bayesian optimization (BO) is a popular technique for sequential black-box function optimization, with applications including parameter tuning, robotics, environmental monitoring, and more. One of the most important challenges in BO is the development of algorithms that scale to high dimensions, which remains a key open problem despite recent progress. In this paper, we consider the approach of Kandasamy et al. (2015), in which the high-dimensional function decomposes as a sum of lower-dimensional functions on subsets of the underlying variables. In particular, we significantly generalize this approach by lifting the assumption that the subsets are disjoint, and consider additive models with arbitrary overlap among the subsets. By representing the dependencies via a graph, we deduce an efficient message passing algorithm for optimizing the acquisition function. In addition, we provide an algorithm for learning the graph from samples based on Gibbs sampling. We empirically demonstrate the effectiveness of our methods on both synthetic and real-world data.

研究动机与目标

• 解决传统方法在高维输入空间中因维度灾难而失效的挑战，实现贝叶斯优化的可扩展性。
• 克服先前加法模型假设变量分组互不相交的局限性，从而能够建模复杂且重叠的依赖关系。
• 针对高维设置，设计一种基于依赖图的消息传递策略，实现获取函数的高效优化。
• 提出一种基于吉布斯采样的方法，从数据中学习重叠分组的结构，实现对低维函数分量的自适应建模。
• 在合成任务与真实世界优化任务中均展示出性能提升，包括人脸检测与天体物理似然最大化。

提出的方法

• 将高维函数建模为定义在变量任意子集（即分组）上的低维分量之和，推广了先前对不相交分组的假设。
• 使用图结构表示组之间的关系，其中节点为分组，边编码共享变量，从而支持结构化推断。
• 通过利用图结构，推导出一种高效的的消息传递算法，以优化高维空间中的GP-UCB获取函数。
• 设计一种吉布斯采样过程，从观测到的函数评估中学习最优图结构（即分组构成），实现对重叠依赖关系的数据驱动发现。
• 将学习到的图结构整合到获取函数中，实现高维空间中自适应且可扩展的优化。
• 将该框架应用于合成函数与真实世界问题，包括Viola-Jones人脸检测算法的参数调优以及天体物理模型中的似然最大化。

实验结果

研究问题

• RQ1 与不相交分组模型相比，加法模型中引入重叠分组结构是否能提升高维贝叶斯优化的表达能力与性能？
• RQ2 当函数被建模为重叠低维分量之和时，如何在高维空间中高效优化获取函数？
• RQ3 从噪声函数评估中学习潜在分组结构（即哪些变量构成每个分量）的有效方法是什么？
• RQ4 在真实世界优化任务中，该方法相较于现有方法在收敛速度与最终性能方面表现如何？
• RQ5 在贝叶斯优化中，使用重叠分组对信息增益与遗憾边界具有何种理论影响？

主要发现

• 所提出的重叠分组加法模型在合成与真实世界实验中均优于不相交分组模型，实现了更快的收敛速度与更高的分类准确率，尤其在人脸检测任务中表现突出。
• 在Viola-Jones人脸检测任务中，'Overlap'模型在200次迭代后达到93.2%的分类准确率，超过OpenCV基线的92.6%，并优于'No Overlap'模型。
• 在15次运行中，'Overlap'模型的平均累积遗憾显著低于'No Overlap'模型，表明其在参数空间探索中更具效率。
• 基于吉布斯采样的结构学习方法成功识别出有意义的变量分组，尤其捕捉到了Viola-Jones级联中连续阶段之间的相关性。
• 该方法在真实世界天体物理建模任务中也表现出色，通过利用重叠分组结构显著提升了似然最大化效果。
• 附录中的理论分析表明，该模型的信息增益结构优于不相交模型，尽管遗憾边界的推导仍具挑战性。