[论文解读] Deep Learning for Bayesian Optimization of Scientific Problems with High-Dimensional Structure

Samuel Kim, Peter Y. Lu+4 more|arXiv (Cornell University)|Apr 23, 2021

Machine Learning in Materials Science被引用 11

一句话总结

本文提出使用贝叶斯神经网络（BNNs）作为贝叶斯优化（BO）在高维科学问题中的可扩展、结构化的代理模型，相较于传统的高斯过程（GPs），在采样效率和计算成本方面均表现更优。该方法在光子晶体拓扑优化和分子性质预测任务中分别采用卷积神经网络和图神经网络，成功展示了BNNs如何有效利用归纳偏置和辅助数据以提升优化性能。

ABSTRACT

Bayesian optimization (BO) is a popular paradigm for global optimization of expensive black-box functions, but there are many domains where the function is not completely a black-box. The data may have some known structure (e.g. symmetries) and/or the data generation process may be a composite process that yields useful intermediate or auxiliary information in addition to the value of the optimization objective. However, surrogate models traditionally employed in BO, such as Gaussian Processes (GPs), scale poorly with dataset size and do not easily accommodate known structure. Instead, we use Bayesian neural networks, a class of scalable and flexible surrogate models with inductive biases, to extend BO to complex, structured problems with high dimensionality. We demonstrate BO on a number of realistic problems in physics and chemistry, including topology optimization of photonic crystal materials using convolutional neural networks, and chemical property optimization of molecules using graph neural networks. On these complex tasks, we show that neural networks often outperform GPs as surrogate models for BO in terms of both sampling efficiency and computational cost.

研究动机与目标

• 解决高斯过程在贝叶斯优化中处理高维、结构化科学数据时的可扩展性局限。
• 将已知的结构归纳偏置（如对称性、不变性）和辅助信息整合到代理模型中，以提升优化效率。
• 证明贝叶斯神经网络在真实物理与化学问题中，相较于高斯过程，可在采样效率和计算成本方面实现更优表现。
• 在无需预训练模型的前提下，实现对复杂高维输入（如图像和分子图）的贝叶斯优化。
• 在包括纳米颗粒散射和QM9分子性质在内的多样化科学数据集上，评估基于BNN的贝叶斯优化的鲁棒性与性能。

提出的方法

• 在贝叶斯优化中采用贝叶斯神经网络（BNNs）作为代理模型，利用其相较于高斯过程（GPs）在可扩展性和灵活性方面的优势。
• 使用卷积神经网络（CNNs）对具有空间结构的输入（如光子晶体设计）进行建模。
• 应用图神经网络（GNNs）对分子图进行建模，并从图结构数据中预测化学性质。
• 利用模拟中产生的辅助或中间输出（如完整散射光谱、多个量子性质）来增强代理模型构建与优化性能。
• 通过变分推断和随机梯度哈密顿蒙特卡洛（SGHMC）实现不确定性感知训练，以近似后验分布。
• 在真实科学数据集上，将基于BNN的贝叶斯优化与高斯过程、集成方法及非贝叶斯方法进行基准对比，以评估性能与鲁棒性。

实验结果

研究问题

• RQ1 贝叶斯神经网络能否在高维、结构化的科学数据中有效替代高斯过程作为贝叶斯优化的代理模型？
• RQ2 在科学模拟中引入辅助或中间数据在贝叶斯优化中如何提升性能？
• RQ3 在物理与化学应用中，CNN和GNN中编码的归纳偏置在多大程度上提升了贝叶斯优化的效率与准确性？
• RQ4 基于BNN的贝叶斯优化方法在采样效率和计算成本方面，相较于高斯过程和非贝叶斯优化技术有何差异？
• RQ5 哪些因素对基于BNN的贝叶斯优化性能影响最大，例如预训练阶段的随机种子或超参数选择？

主要发现

• 在光子晶体拓扑优化和分子性质预测等复杂科学任务中，贝叶斯神经网络在采样效率和计算成本方面始终优于高斯过程。
• 利用辅助数据（如完整散射光谱或多个量子化学性质）可显著提升优化性能，通过为代理模型引入额外的归纳偏置实现。
• 图神经网络和卷积神经网络能有效捕捉分子和图像输入中的结构归纳偏置，从而在无需降维的情况下实现高维贝叶斯优化。
• VAE-GP基准性能对预训练VAE的随机种子高度敏感，表明预训练质量是主导因素，甚至超过超参数调优的影响。
• 如BOHAMIANN等方法在多峰目标上表现优异，得益于有效的后验探索，但因SGHMC采样而计算成本较高。
• 无限宽神经网络近似在贝叶斯优化中表现不佳，表明其无法捕捉有限宽度网络的动力学特性，且对超参数极为敏感。