[论文解读] MATSuMoTo: The MATLAB Surrogate Model Toolbox For Computationally Expensive Black-Box Global Optimization Problems

Juliane Mueller|arXiv (Cornell University)|Apr 16, 2014

Advanced Multi-Objective Optimization Algorithms参考文献 24被引用 43

一句话总结

MATSuMoTo 是一个基于 MATLAB 的代理模型工具箱，专为计算成本高昂的黑箱全局优化问题而设计，适用于连续变量、混合整数变量或纯整数变量的问题。它采用自适应采样策略与代理模型（如径向基函数和克里金模型）相结合，并通过并行函数评估，在有限次数的昂贵函数评估中高效地找到近似最优解。

ABSTRACT

MATSuMoTo is the MATLAB Surrogate Model Toolbox for computationally expensive, black-box, global optimization problems that may have continuous, mixed-integer, or pure integer variables. Due to the black-box nature of the objective function, derivatives are not available. Hence, surrogate models are used as computationally cheap approximations of the expensive objective function in order to guide the search for improved solutions. Due to the computational expense of doing a single function evaluation, the goal is to find optimal solutions within very few expensive evaluations. The multimodality of the expensive black-box function requires an algorithm that is able to search locally as well as globally. MATSuMoTo is able to address these challenges. MATSuMoTo offers various choices for surrogate models and surrogate model mixtures, initial experimental design strategies, and sampling strategies. MATSuMoTo is able to do several function evaluations in parallel by exploiting MATLAB's Parallel Computing Toolbox.

研究动机与目标

• 解决计算成本高昂的黑箱优化问题中的全局优化挑战，其中无法获取导数信息。
• 为具有连续、混合整数或纯整数变量的问题提供高效优化方法。
• 通过利用代理模型和自适应采样策略，最小化昂贵函数评估的次数。
• 利用 MATLAB 的 Parallel Computing Toolbox 支持并行函数评估，以加速收敛。
• 为研究人员和实践者提供一个灵活且可扩展的框架，用于求解复杂的基于仿真优化的问题。

提出的方法

• 使用代理模型（例如径向基函数、克里金模型、多项式模型）作为昂贵目标函数的计算成本低廉的近似。
• 采用三种初始实验设计策略——拉丁超立方设计、最大最小设计和均匀采样——生成初始样本集。
• 实施两种主要采样策略：(1) 通过 fmincon（连续变量）或 ga（整数/混合整数变量）局部最小化代理模型；(2) 最大化与已有采样点的最小距离，以改善全局模型拟合。
• 应用自适应扰动策略以逃离局部最优：在连续三次失败后将扰动范围加倍，若发生五次缩减则重新启动。
• 在每次迭代中使用 MATLAB 的 Parallel Computing Toolbox 实现并行函数评估，并自动管理工作者池。
• 通过保证在理想条件下全局收敛，确保渐近完备性，防止过早停滞于局部最优。

实验结果

研究问题

• RQ1 如何有效结合代理模型与自适应采样策略，以最小化黑箱优化中的昂贵函数评估次数？
• RQ2 在多峰、昂贵的优化问题中，哪些采样策略最能有效平衡局部精细化与全局探索？
• RQ3 在使用代理模型时，并行计算在多大程度上可以减少昂贵优化任务的运行时间？
• RQ4 如何将基于代理模型的算法适配以处理混合整数和纯整数变量问题？
• RQ5 代理模型的选择与集成策略对全局优化中收敛性和解质量的影响如何？

主要发现

• MATSuMoTo 是目前唯一已知支持使用代理模型进行连续、混合整数和纯整数优化问题的工具箱。
• 该工具箱实现了渐近完备性，即在理想条件下，其收敛到全局最优解的概率为 1。
• 当存在多个工作者时，并行评估能力显著减少了运行时间，尤其是在初始设计和迭代采样阶段。
• 基于代理模型最小值的采样策略（SurfMin）与最小距离最大化策略相结合，可有效提升对搜索空间未探索区域的探索能力。
• 自适应扰动机制通过在多次失败后动态调整搜索强度，防止在局部最优处停滞。
• 构建代理模型的计算开销与昂贵函数评估相比可忽略不计，使得 MATSuMoTo 特别适用于每次评估需数分钟或数小时的问题。