[论文解读] Bayesian Optimization for Materials Design with Mixed Quantitative and Qualitative Variables

Yichi Zhang, Daniel W. Apley+1 more|arXiv (Cornell University)|Oct 3, 2019

Advanced Multi-Objective Optimization Algorithms被引用 9

一句话总结

本文提出了一种新颖的潜在变量高斯过程（LVGP）框架，结合贝叶斯优化，用于涉及定量与定性变量的材料设计。通过将定性因素映射到潜在的数值潜变量空间，该方法比传统的虚拟变量方法更有效地捕捉复杂相关性，在数值和材料设计实例中展现出更高的建模精度与直观的可视化效果。

ABSTRACT

Although Bayesian Optimization (BO) has been employed for accelerating materials design in computational materials engineering, existing works are restricted to problems with quantitative variables. However, real designs of materials systems involve both qualitative and quantitative design variables representing material compositions, microstructure morphology, and processing conditions. For mixed-variable problems, existing Bayesian Optimization (BO) approaches represent qualitative factors by dummy variables first and then fit a standard Gaussian process (GP) model with numerical variables as the surrogate model. This approach is restrictive theoretically and fails to capture complex correlations between qualitative levels. We present in this paper the integration of a novel latent-variable (LV) approach for mixed-variable GP modeling with the BO framework for materials design. LVGP is a fundamentally different approach that maps qualitative design variables to underlying numerical LV in GP, which has strong physical justification. It provides flexible parameterization and representation of qualitative factors and shows superior modeling accuracy compared to the existing methods. We demonstrate our approach through testing with numerical examples and materials design examples. It is found that in all test examples the mapped LVs provide intuitive visualization and substantial insight into the nature and effects of the qualitative factors. Though materials designs are used as examples, the method presented is generic and can be utilized for other mixed variable design optimization problems that involve expensive physics-based simulations.

研究动机与目标

• 解决现有贝叶斯优化方法在材料系统中无法有效处理混合定量与定性设计变量的局限性。
• 开发一种理论严谨且灵活的方法，用于高斯过程回归中的定性因素建模，克服虚拟变量编码的不足。
• 将所提出的潜在变量高斯过程模型整合到贝叶斯优化框架中，实现昂贵仿真下的高效材料设计。
• 通过数值和真实材料设计案例研究，证明该方法的有效性，展示其在精度与可解释性方面的提升。
• 提供一种通用解决方案，可扩展至材料科学以外的其他涉及昂贵仿真的混合变量优化问题。

提出的方法

• 该方法引入潜在变量（LV）表示，其中每个定性因素的水平被映射到连续的潜在空间中的一个点，实现灵活且物理解释性强的建模。
• 基于潜在变量构建一种新型高斯过程模型，能够捕捉虚拟变量无法表达的定性水平之间的复杂相关结构。
• 将LVGP模型嵌入贝叶斯优化框架中，利用期望改进等采集函数引导最优设计的搜索。
• 潜在变量通过最大似然估计在模型训练过程中学习得到，并辅以正则化以防止过拟合。
• 通过潜在空间的适当参数化，该方法支持分类与有序定性变量。
• 该方法可通过将潜在变量投影到低维空间，实现对定性因素影响的直观可视化。

实验结果

研究问题

• RQ1 如何有效扩展贝叶斯优化，以处理材料设计中同时包含定量与定性设计因素的混合变量问题？
• RQ2 在高斯过程建模中使用虚拟变量表示定性因素存在哪些局限性？如何克服这些局限？
• RQ3 潜在变量高斯过程模型是否能比标准方法更好地捕捉定性因素水平之间的复杂相关性？
• RQ4 所提出的LVGP-贝叶斯优化框架在材料设计问题中的收敛速度与精度表现如何？
• RQ5 潜在变量在多大程度上能提供关于定性设计因素影响的可解释性洞察？

主要发现

• 在所有测试实例中，LVGP模型的建模精度显著高于标准虚拟变量GP方法，预测性能有明显提升。
• 潜在变量提供了直观的低维可视化，揭示了定性因素水平之间的有意义模式与关系。
• 在材料设计实例中，所提方法比基线方法更高效地识别出最优材料组成与加工条件，显著减少了昂贵仿真所需的次数。
• 该方法成功捕捉了虚拟变量编码无法表达的定性因素水平之间的复杂非线性相关性。
• 该框架在合成与真实世界材料设计问题中均表现出鲁棒性与泛化能力，性能稳定出色。
• 潜在变量的可视化为材料行为背后物理机制提供了可操作的洞察，增强了设计理解。