[论文解读] Feasible-side global convergence in experimental optimization

Gene A. Bunin, Grégory François+1 more|arXiv (Cornell University)|Jun 16, 2014

Advanced Multi-Objective Optimization Algorithms参考文献 66被引用 8

一句话总结

本文提出了实验优化中可行集全局收敛的充分条件，确保迭代点始终保持严格可行并收敛至Fritz John驻点。提出了一种‘投影-过滤’框架，利用估计梯度、Lipschitz常数和约束值来强制满足这些条件，即使在昂贵且噪声较大的实验中，也能实现安全、单调的改进。

ABSTRACT

We propose a canonical form of the experimental optimization problem and review the state-of-the-art methods to solve it. As guarantees of global convergence to an optimal point via only feasible iterates are absent in these methods, we present a set of sufficient conditions to enforce this behavior.

研究动机与目标

• 建立一个理论上严谨的实验优化框架，保证在不违反实验约束的前提下收敛至局部最优解。
• 解决现实实验中可行性保持的迫切需求，因为约束违反可能带来安全风险、成本增加或设备损坏。
• 提供充分条件，确保仅使用可行迭代点即可实现全局收敛至Fritz John驻点，这一特性在大多数现有方法中缺失。
• 通过‘投影-过滤’策略，开发一种可数值实现的方案，即使在未知或噪声较大的实验函数下，也能强制满足这些条件。
• 在理论严谨性与实际可行性之间取得平衡，提出对未知梯度、Lipschitz常数和约束值的基于数据的近似方法。

提出的方法

• 将实验优化问题表述为标准形式，包含通过实验评估的系统函数（plant functions）和可解析计算的数值函数（numerical functions）。
• 提出一组可行集全局收敛的充分条件，依赖于目标函数和约束函数的有界梯度及Lipschitz连续性。
• 采用‘投影-过滤’方法，在每次迭代中通过使用估计梯度和约束值将点投影到可行集上，以确保可行性。
• 利用基于二阶导数的Lipschitz界来控制步长，确保成本单调下降。
• 采用基于充分下降条件的线搜索策略，在尊重实验约束的同时保持收敛性。
• 提出对未知量（梯度、Lipschitz常数、约束值）的基于数据的估计方法，使理论框架在实践中可实现。

实验结果

研究问题

• RQ1 能否在确保所有实验迭代点始终保持严格可行的前提下，保证收敛至Fritz John驻点？
• RQ2 问题结构与算法设计的哪些充分条件可确保实验优化中的可行集收敛？
• RQ3 当梯度、Lipschitz常数和约束值未知或存在噪声时，如何使理论收敛保证可实现？
• RQ4 实验优化中收敛速度与安全性的权衡是什么？能否实现定量管理？
• RQ5 能否设计一种实用算法，仅使用实验数据即可强制实施理论上的可行性与收敛性保证？

主要发现

• 所提框架保证收敛至Fritz John驻点，且在实验过程中从未违反约束，即使目标函数表现出极端非线性亦成立。
• 由于基于Lipschitz界导出的保守步长，该算法确保成本单调下降，防止成本出现大范围、可能造成灾难性后果的上升。
• 在二维测试案例中，当采用严格收敛准则时，收敛至最优解需数千次实验，凸显了与速度的权衡。
• 尽管实验次数较高，该方法避免了可能导致经济损失或安全风险的次优或不可行实验，优于简单设计如2因子析因实验。
• 即使在梯度相对于Lipschitz常数极小时，框架仍保持理论上的稳健性，此时收敛变慢但安全性得以保障。
• 已提供开源实现，并在模拟和真实实验问题上均取得成功，验证了该方法的实际可行性。