[论文解读] Graph Bayesian Optimization: Algorithms, Evaluations and Applications

Jiaxu Cui, Bo Yang|arXiv (Cornell University)|May 3, 2018

Bayesian Modeling and Causal Inference参考文献 30被引用 6

一句话总结

本文提出图贝叶斯优化（GBO），一种新颖的框架，通过将图核与高斯过程相结合，将贝叶斯优化扩展至任意图结构数据。该方法有效利用了隐含的结构特征，并自动识别重要属性，在道路网络优化和蛋白质设计等四个多样化应用中优于基线方法。

ABSTRACT

Network structure optimization is a fundamental task in complex network analysis. However, almost all the research on Bayesian optimization is aimed at optimizing the objective functions with vectorial inputs. In this work, we first present a flexible framework, denoted graph Bayesian optimization, to handle arbitrary graphs in the Bayesian optimization community. By combining the proposed framework with graph kernels, it can take full advantage of implicit graph structural features to supplement explicit features guessed according to the experience, such as tags of nodes and any attributes of graphs. The proposed framework can identify which features are more important during the optimization process. We apply the framework to solve four problems including two evaluations and two applications to demonstrate its efficacy and potential applications.

研究动机与目标

• 解决在生物信息学、社交网络和交通等领域中常见的图结构数据上昂贵的黑箱函数优化挑战。
• 克服传统贝叶斯优化仅限于向量输入、无法利用内在图结构的局限性。
• 开发一种灵活、通用的框架，通过结合图核与代理建模，处理任意图结构——如蛋白质结构、社交网络和道路网络。
• 在优化过程中实现自动特征重要性识别，减少对手工设计特征的依赖，提升可解释性。
• 在评估任务和真实世界应用中展示该框架的有效性，证明其优越性能与泛化能力。

提出的方法

• 提出图贝叶斯优化（GBO）框架，通过图核将图输入映射到再生核希尔伯特空间，实现基于核的高斯过程回归。
• 将图核（如图子结构核、最短路径核）与高斯过程结合，对图空间上的黑箱目标函数进行建模。
• 使用期望改进（EI）获取函数引导主动采样，在图搜索空间中平衡探索与利用。
• 通过迭代查询昂贵的目标函数并更新高斯过程代理模型，实现图结构的优化。
• 引入基于CART的规则提取技术，解释优化过程并提取可操作的启发式规则，例如从道路网络中提取交通控制规则。
• 通过允许用图神经网络等深度学习模型替换高斯过程代理模型，实现灵活扩展。

实验结果

研究问题

• RQ1 贝叶斯优化能否有效扩展至处理任意图结构输入，而非仅限于向量输入？
• RQ2 如何将图核与高斯过程结合，以在保留结构信息的同时对图空间上的目标函数进行建模？
• RQ3 GBO框架在多大程度上能自动识别并优先考虑重要特征（如节点标签、属性、子图模式）？
• RQ4 在昂贵评估的真实世界图优化问题中，GBO框架相较于现有方法表现如何？
• RQ5 优化过程能否生成可解释的规则或启发式方法，使其在类似图实例（如城市道路网络中的交通控制策略）上具有泛化能力？

主要发现

• GBO框架在图结构优化中显著优于基线方法，在道路网络优化中，相较于开放所有区域策略提升4.33%，相较于关闭所有区域策略提升2.33%。
• 从GBO框架导出的基于规则的策略在未见过的道路网络（如Haidian-test）上，相较于随机区域开放策略实现了3.31%的性能提升，展现出强大的泛化能力。
• 该框架成功识别出关键结构特征：例如，当节点度较低且介数适中时，关闭道路区域的概率达71.4%，表明有效缓解了交通拥堵。
• 在蛋白质结构优化中，框架识别出具有更多内部道路的图更可能被关闭（概率为55.3%），表明其有效利用了结构特征。
• 图核与高斯过程的结合实现了对昂贵黑箱函数的精确代理建模，显著减少了所需评估次数。
• 通过基于CART的规则提取，增强了框架的可解释性，揭示了如“关闭内部道路较少的区域”或“开放高连通性区域”等可操作启发式规则。