[论文解读] BMOBench: Black-Box Multi-Objective Optimization Benchmarking Platform

Abdullah Al-Dujaili, Suresh Sundaram|arXiv (Cornell University)|May 23, 2016

Advanced Multi-Objective Optimization Algorithms参考文献 16被引用 7

一句话总结

BMOBench 是一个全面的黑箱多目标优化基准测试平台，通过 100 种多样化测试问题，利用多种质量指标和运行时间度量对求解器进行评估。该平台支持基于数据轮廓的公平比较，适用于确定性和随机算法，展示了在不同评估预算下，MO-SOO 在大多数问题上具有更优的收敛速度。

ABSTRACT

This document briefly describes the Black-Box Multi-Objective Optimization Benchmarking (BMOBench) platform. It presents the test problems, evaluation procedure, and experimental setup. To this end, the BMOBench is demonstrated by comparing recent multi-objective solvers from the literature, namely SMS-EMOA, DMS, and MO-SOO.

研究动机与目标

• 建立一个标准化、可复现的黑箱多目标优化算法基准测试框架。
• 通过考虑多次运行和最佳运行时间聚合，实现对确定性和随机求解器的公平比较。
• 在多种问题类型（包括可扩展、非凸和约束型测试问题）上评估算法性能。
• 通过多种质量指标和运行时间效率度量，提供统一的评估协议。
• 通过不同函数评估预算下的数据轮廓，支持对收敛行为的实证分析。

提出的方法

• 该平台包含 100 个测试问题，其维度（n）、目标数（m）和特性（L：低，H：高，S：可扩展，NS：不可扩展，U：无约束，M：多峰，D：退化）各不相同。
• 采用四种质量指标：超体积差（I⁻ₕ）、生成距离（IGD）、反向生成距离（IGD⁺）和加法 epsilon 指标（I⁺ₑ₊），所有指标均经过归一化处理并基于参考集。
• 通过合并先前进化算法（Custódio 等，2011）的近似集，构建参考集 R，以确保目标计算的一致性。
• 使用数据轮廓评估收敛性：dₛ(α) = (1/|P|) × |{p ∈ P : tₚ,ₛ / nₚ ≤ α}|，其中 tₚ,ₛ 表示在问题 p 上达到目标所需的运行时间（函数评估次数）。
• 对于随机求解器，每个目标均采用 10 次运行中的最佳运行时间，以实现在不同评估预算下的公平比较。
• 通过在选定问题（BK1、DPAM1、L3ZDT1、DTLZ3、FES3）上绘制函数评估时间的对数-对数图，测量实际运行时间，评估预算分别为 10、100 和 1000。

实验结果

研究问题

• RQ1 在多样化测试问题中，不同多目标优化求解器（SMS-EMOA、DMS、MO-SOO）的收敛速度如何比较？
• RQ2 在使用数据轮廓和最佳运行时间度量时，随机求解器与确定性求解器的相对性能如何？
• RQ3 算法效率（每次函数评估的运行时间）在不同问题类别和评估预算下如何变化？
• RQ4 在黑箱优化中，超体积和生成距离等质量指标在多大程度上与收敛行为相关？
• RQ5 统一的基准测试框架能否支持多目标优化算法的公平、可扩展和可复现的评估？

主要发现

• MO-SOO 在大多数问题上的收敛速度优于 SMS-EMOA 和 DMS，表现为在较低函数评估预算下具有更高的数据轮廓值。
• 数据轮廓分析表明，MO-SOO 在优化初期显著快于 SMS-EMOA 和 DMS，能够更快达到目标。
• 实测运行时间显示，MO-SOO 每次函数评估的时间成本低于 SMS-EMOA 和 DMS，表明其具有更高的计算效率。
• 该基准测试框架通过在 10 次试验中采用最佳运行结果，成功支持了确定性和随机求解器的比较。
• 通过使用归一化的参考集和多种质量指标，确保了在不同问题类型和维度下性能评估的一致性和可靠性。
• 该平台的设计支持可扩展、与问题无关的评估，为未来黑箱多目标优化算法的开发与比较提供了有力支持。