[论文解读] Convergence Certificate for Stochastic Derivative-Free Trust-Region Methods based on Gaussian Processes

Harsh Shukla, Tafarel de Avila Ferreira+3 more|arXiv (Cornell University)|Oct 2, 2020

Gaussian Processes and Bayesian Inference参考文献 19被引用 4

一句话总结

本文证明高斯过程（GPs）在概率上完全线性，从而实现无导数信赖域方法的全局收敛。通过认证GP代理模型为完全线性，该方法确保在更少的工厂评估次数下实现快速且全局收敛的优化，在具有噪声和不确定动态的化学反应器批次过程中得到验证。

ABSTRACT

In many machine learning applications, one wants to learn the unknown objective and constraint functions of an optimization problem from available data and then apply some technique to attain a local optimizer of the learned model. This work considers Gaussian processes as global surrogate models and utilizes them in conjunction with derivative-free trust-region methods. It is well known that derivative-free trust-region methods converge globally---provided the surrogate model is probabilistically fully linear. We prove that \glspl{gp} are indeed probabilistically fully linear, thus resulting in fast (compared to linear or quadratic local surrogate models) and global convergence. We draw upon the optimization of a chemical reactor to demonstrate the efficiency of \gls{gp}-based trust-region methods.

研究动机与目标

• 通过认证其完全线性特性，解决基于GP的无导数优化缺乏理论收敛保证的问题。
• 在使用GP作为未知或噪声目标函数的代理模型时，确保信赖域方法的全局收敛性。
• 通过利用具有认证准确性的GP代理模型，减少实时优化中昂贵的工厂评估次数。
• 在存在结构模型失配的噪声且不确定的化学批次反应器过程中，展示该方法的有效性。
• 为在具有几乎必然收敛保证的随机、无导数信赖域优化中使用GP提供理论基础。

提出的方法

• 使用高斯过程（GPs）作为全局代理模型，以近似未知且带有噪声的目标函数和约束函数。
• 应用一种基于GP预测和不确定性的概率无导数信赖域方法，通过迭代方式优化信赖区域。
• 通过证明信赖区域中近似误差的边界，认证GP在概率上完全线性。
• 仅在新数据点与现有数据点足够远时才将其纳入GP模型，以防止过拟合。
• 使用具有自适应半径调整（基于η, γ_dec, γ_inc, Δ₀）的信赖域算法，以确保收敛。
• 通过在目标函数中惩罚约束违反，将约束优化问题重新表述为无约束优化问题。

实验结果

研究问题

• RQ1 高斯过程能否被正式认证为概率完全线性，这是信赖域方法实现全局收敛的关键要求？
• RQ2 在无导数信赖域优化中使用GP作为全局代理模型，是否相比局部模型能实现更快收敛和更少的函数评估？
• RQ3 在实际优化问题中存在模型失配和噪声测量时，基于GP的信赖域方法表现如何？
• RQ4 该方法能否在不从头重新训练GP的情况下适应系统动态的突然变化？
• RQ5 在使用GP代理模型时，随机、无导数信赖域方法的理论收敛保证是什么？

主要发现

• 本文证明高斯过程在概率上完全线性，为使用GP的信赖域方法实现全局收敛提供了理论基础。
• 在化学反应器案例研究中，尽管存在模型失配和噪声，基于GP的信赖域方法仅在三次迭代内即达到接近实际工厂最优的性能。
• 在Scenario II中，该方法显著优于基于模型的优化，原因在于GP能够学习新的动力学特性。
• GP模型在无需重新初始化的情况下能快速适应系统行为的变化（例如从Scenario I到II），并保持高性能。
• 与局部代理模型相比，使用GP可显著减少信赖域迭代次数，从而降低昂贵的工厂评估次数。
• 即使存在5%的加性高斯噪声，该算法仍能保持约束的可行性，并收敛至接近真实工厂最优的解。