[论文解读] COCO: The Large Scale Black-Box Optimization Benchmarking (bbob-largescale) Test Suite

Ouassim Elhara, Konstantinos Varelas+5 more|arXiv (Cornell University)|Mar 15, 2019

Advanced Multi-Objective Optimization Algorithms被引用 11

一句话总结

本文引入了 COCO bbo-largescale 测试套件，这是一个用于大规模黑箱优化的基准测试，包含 24 个单目标连续函数，维度范围为 20 至 640。该研究提出了一种计算高效的块对角与置换结合的旋转方法，降低了内存和计算成本，同时保持了旋转测试函数的关键特性，实现了高维空间中优化算法可扩展且可复现的性能评估。

ABSTRACT

The bbob-largescale test suite, containing 24 single-objective functions in continuous domain, extends the well-known single-objective noiseless bbob test suite, which has been used since 2009 in the BBOB workshop series, to large dimension. The core idea is to make the rotational transformations R, Q in search space that appear in the bbob test suite computationally cheaper while retaining some desired properties. This documentation presents an approach that replaces a full rotational transformation with a combination of a block-diagonal matrix and two permutation matrices in order to construct test functions whose computational and memory costs scale linearly in the dimension of the problem.

研究动机与目标

• 将已建立的 bbo-largescale 测试套件扩展，以支持维度高达 640 的大规模优化问题。
• 通过引入更高效的替代方法，解决现有基准函数中完整旋转变换带来的高计算与内存开销。
• 在降低资源需求的同时，保持旋转不变性与问题难度等核心特性。
• 实现对无导数优化算法在大规模问题上的可复现且可扩展的性能评估。
• 支持在 BBOB 研讨会系列中对大规模维度优化任务进行标准化基准测试。

提出的方法

• 用块对角矩阵结构结合两个置换矩阵，替代完整的旋转变换，以降低计算成本。
• 通过组合块对角旋转矩阵与置换操作构建测试函数，实现在维度上内存与计算成本的线性扩展。
• 在提升效率的同时，保留原始 bbo-largescale 函数的核心特性，如可分性、病态条件和偏置。
• 通过维度 $ n $、函数标识符 $ i $ 和实例索引 $ j $ 定义问题实例，形成每个优化问题的三元组 $ (n, i, j) $。
• 使用目标值 $ t $ 定义成功条件，运行时间定义为达到 $ f(x) \leq t $ 所需的函数评估次数。
• 确保生成的测试套件支持广泛的维度范围，并与现有 BBOB 评估框架保持兼容。

实验结果

研究问题

• RQ1 如何在不牺牲问题质量的前提下，使大规模优化基准中的旋转变换计算更加高效？
• RQ2 使用基于块对角与置换的旋转方法，对优化算法的可扩展性与性能有何影响？
• RQ3 低成本旋转方法能否保留基准函数的关键特性，如病态条件与可分性？
• RQ4 新测试套件如何支持在高维空间中对不同优化算法实现可复现且标准化的基准测试？
• RQ5 在使用新旋转方案时，维度（从 20 到 640）对算法性能有何影响？

主要发现

• 所提出的基于块对角与置换的旋转方法使计算与内存成本随维度线性增长，而全矩阵旋转则呈二次方增长。
• 该测试套件支持 20 至 640 的问题维度，可实现对大规模优化算法的评估。
• 该方法保留了原始 bbo-largescale 函数的关键特性，如可分性、病态条件与偏置，确保了基准的有效性。
• 该套件设计为与现有 BBOB 评估协议兼容，支持在不同维度下对算法性能进行直接比较。
• 运行时间指标定义为达到目标值所需函数评估次数，实现了不同算法间标准化的性能度量。
• 该测试套件包含 24 个单目标、无约束最小化函数，每个函数由维度、函数 ID 和实例索引参数化，共形成 1,440 个独立问题（6 个维度 × 24 个函数 × 10 个实例）。