[论文解读] Identifying Properties of Real-World Optimisation Problems through a Questionnaire

Koen van der Blom, Timo M. Deist+6 more|arXiv (Cornell University)|Nov 11, 2020

Advanced Multi-Objective Optimization Algorithms被引用 6

一句话总结

本文通过一项涵盖45位从业者和研究人员的全球调研，识别了现实世界优化问题的关键特性。研究发现，大多数现实问题具有约束性、连续性、计算成本高且评估受限等特征，而这些特征在标准基准测试中往往被忽略，从而为设计更贴近现实的优化测试套件提供了指导。

ABSTRACT

Optimisation algorithms are commonly compared on benchmarks to get insight into performance differences. However, it is not clear how closely benchmarks match the properties of real-world problems because these properties are largely unknown. This work investigates the properties of real-world problems through a questionnaire to enable the design of future benchmark problems that more closely resemble those found in the real world. The results, while not representative as they are based on only 45 responses, indicate that many problems possess at least one of the following properties: they are constrained, deterministic, have only continuous variables, require substantial computation times for both the objectives and the constraints, or allow a limited number of evaluations. Properties like known optimal solutions and analytical gradients are rarely available, limiting the options in guiding the optimisation process. These are all important aspects to consider when designing realistic benchmark problems. At the same time, the design of realistic benchmarks is difficult, because objective functions are often reported to be black-box and many problem properties are unknown. To further improve the understanding of real-world problems, readers working on a real-world optimisation problem are encouraged to fill out the questionnaire: https://tinyurl.com/opt-survey

研究动机与目标

• 理解现实世界优化问题的结构和计算特性，这些特性常在人工基准中缺失。
• 识别定义现实世界问题复杂性的特征，如约束、变量类型、评估时间及解的可用性。
• 通过突出高维搜索空间和昂贵目标评估等未充分代表的特征，指导更真实基准测试套件的开发。
• 鼓励更广泛的社区参与现实世界问题特性的调研，以提升算法基准测试的实用性与现实适用性。
• 识别现有基准中的空白，并提出新的真实或简化的现实问题，以纳入未来的基准测试框架。

提出的方法

• 向进化计算社区的研究人员和从业者分发结构化问卷，收集关于现实世界优化问题的数据。
• 问卷收集了问题类型（单目标/多目标/多目标）、变量类型（连续/离散）、约束、评估时间、最优解可用性以及解析梯度等信息。
• 对响应进行分析，以识别常见特性、特定特征的普遍性以及问题特性之间的相关性。
• 采用探索性数据分析检测趋势，例如问题维度与评估成本之间的关系。
• 将研究发现与现有基准套件进行对比，以识别缺失或代表性不足的特征。
• 利用结果指导未来更真实反映现实世界复杂性与约束的基准问题设计。

实验结果

研究问题

• RQ1 从业者报告的现实世界优化问题中最常见的特性是什么？
• RQ2 与标准人工基准相比，现实世界问题在约束、变量类型和评估成本方面有何不同？
• RQ3 哪些问题特性（如已知最优解或解析梯度）在实践中很少可用？
• RQ4 昂贵的目标评估和有限的评估预算在现实应用中有多普遍？
• RQ5 当前基准套件中缺少哪些在现实世界问题中常见的特征？

主要发现

• 44% 的多目标和多目标问题具有明确的目标偏好，表明基于偏好的降维技术具有高度相关性。
• 超过一半的问题（50%）评估时间超过1秒，且许多问题在目标和约束计算上均需大量计算资源。
• 约束存在于相当大比例的问题中，连续变量占主导地位，但离散和混合整数问题也较为常见。
• 已知最优解和解析梯度在实践中很少可用，限制了基于梯度或精确优化技术的应用。
• 许多问题具有高维搜索空间（超过100个变量），而这些特征在当前基准套件中代表性不足。
• 与单目标问题相比，多目标和多目标问题的目标评估时间显著更长，凸显了多目标优化中的关键挑战。