[论文解读] Decentralized High-Dimensional Bayesian Optimization with Factor Graphs

Trong Nghia Hoang, Quang Minh Hoang+2 more|arXiv (Cornell University)|Nov 19, 2017

Distributed Sensor Networks and Detection Algorithms被引用 20

一句话总结

该论文提出DEC-HBO，一种去中心化的高维贝叶斯优化算法，通过稀疏因子图对目标函数中的输入组件间依赖关系进行建模，利用分布式消息传递实现高效、可扩展的获取函数优化。该方法在深度学习和高斯过程的超参数调优等高维问题上实现了最先进性能，优于现有方法，并保证无遗憾收敛。

ABSTRACT

This paper presents a novel decentralized high-dimensional Bayesian optimization (DEC-HBO) algorithm that, in contrast to existing HBO algorithms, can exploit the interdependent effects of various input components on the output of the unknown objective function f for boosting the BO performance and still preserve scalability in the number of input dimensions without requiring prior knowledge or the existence of a low (effective) dimension of the input space. To realize this, we propose a sparse yet rich factor graph representation of f to be exploited for designing an acquisition function that can be similarly represented by a sparse factor graph and hence be efficiently optimized in a decentralized manner using distributed message passing. Despite richly characterizing the interdependent effects of the input components on the output of f with a factor graph, DEC-HBO can still guarantee no-regret performance asymptotically. Empirical evaluation on synthetic and real-world experiments (e.g., sparse Gaussian process model with 1811 hyperparameters) shows that DEC-HBO outperforms the state-of-the-art HBO algorithms.

研究动机与目标

• 解决现有高维贝叶斯优化（HBO）算法在依赖性假设受限情况下的可扩展性与性能局限。
• 在不假设低有效维度的前提下，对高维目标函数中输入组件间的复杂依赖关系进行建模。
• 设计一种可去中心化高效优化的获取函数，同时保持理论性能保证。
• 在无需事先了解低维结构的情况下，实现高维设置下的无遗憾收敛。
• 在真实世界问题（如深度神经网络和稀疏高斯过程的超参数调优）上对方法进行实证验证。

提出的方法

• 将未知目标函数 f 表示为若干随机因子函数之和，每个因子函数涉及输入变量的一个小部分（可能重叠）子集，并赋予独立的高斯过程先验。
• 构建稀疏因子图以编码输入组件间依赖关系的结构，其中每个因子内部存在直接依赖，而通过共享变量传播间接依赖。
• 设计一种继承相同稀疏因子图结构的获取函数，从而通过分布式消息传递算法实现去中心化优化。
• 使用期望传播算法的一种变体来计算因子图中的局部消息，实现获取函数的高效且可扩展的最大化。
• 以顺序迭代方式应用该算法：查询获取函数，观测 f，更新高斯过程信念，并使用更新后的信念重新计算获取函数。
• 通过利用因子图结构及高斯过程模型中消息传递的收敛特性，确保理论上的无遗憾性能。

实验结果

研究问题

• RQ1 高维贝叶斯优化算法是否能在不假设低有效维度的前提下，利用输入间的依赖关系？
• RQ2 目标函数的因子图表示能否同时实现表达性强的建模与可扩展的优化？
• RQ3 在稀疏因子图上进行去中心化消息传递是否能实现在高维空间中高效的最大化获取函数？
• RQ4 所提方法是否能在渐近意义上实现无遗憾性能，同时优于最先进HBO算法？
• RQ5 该方法在真实世界的高维优化任务（如深度学习和高斯过程的超参数调优）中表现如何？

主要发现

• 在具有1811个超参数的稀疏高斯过程模型超参数调优中，DEC-HBO的最终RMSE为4.0437，优于ADD-GP-UCB的4.1774和REMBO的9.9100。
• 在CIFAR-10数据集上的卷积神经网络中，DEC-HBO的测试误差为0.0950，显著低于ADD-GP-UCB的0.1068和MF3的0.1107。
• DEC-HBO的性能提升在贝叶斯优化的早期迭代中最为显著，表明其在时间受限优化中具有出色的样本效率。
• 尽管对输入效应的依赖关系进行了丰富建模，该方法仍保持了无遗憾收敛，而其他方法则依赖于独立性或低维结构假设。
• 实证结果表明，通过稀疏因子图建模依赖关系，相比解耦或随机嵌入方法，能实现更优的优化性能。
• 去中心化消息传递框架使得在高维空间中实现可扩展优化成为可能，且无需事先了解输入的有效维度。