[论文解读] MetaBox: A Benchmark Platform for Meta-Black-Box Optimization with Reinforcement Learning

Zeyuan Ma, Hongshu Guo+6 more|arXiv (Cornell University)|Oct 12, 2023

Metaheuristic Optimization Algorithms Research被引用 5

一句话总结

MetaBox 是首个面向强化学习的元黑箱优化（MetaBBO-RL）的统一基准平台，提供标准化框架，用于开发、训练和评估 MetaBBO-RL 方法。它提供灵活的模板、300 多种多样的问题实例、19 种基线优化器以及标准化指标，实现对不同优化景观下基于强化学习的元优化器的公平且全面的基准测试。

ABSTRACT

Recently, Meta-Black-Box Optimization with Reinforcement Learning (MetaBBO-RL) has showcased the power of leveraging RL at the meta-level to mitigate manual fine-tuning of low-level black-box optimizers. However, this field is hindered by the lack of a unified benchmark. To fill this gap, we introduce MetaBox, the first benchmark platform expressly tailored for developing and evaluating MetaBBO-RL methods. MetaBox offers a flexible algorithmic template that allows users to effortlessly implement their unique designs within the platform. Moreover, it provides a broad spectrum of over 300 problem instances, collected from synthetic to realistic scenarios, and an extensive library of 19 baseline methods, including both traditional black-box optimizers and recent MetaBBO-RL methods. Besides, MetaBox introduces three standardized performance metrics, enabling a more thorough assessment of the methods. In a bid to illustrate the utility of MetaBox for facilitating rigorous evaluation and in-depth analysis, we carry out a wide-ranging benchmarking study on existing MetaBBO-RL methods. Our MetaBox is open-source and accessible at: https://github.com/GMC-DRL/MetaBox.

研究动机与目标

• 为解决当前缺乏面向强化学习的元黑箱优化（MetaBBO-RL）标准化基准的问题，该问题阻碍了该领域内公平比较与进展。
• 提供一个统一且可扩展的框架，简化新型 MetaBBO-RL 算法的开发与评估。
• 通过大规模、多样化的测试集（300 多个问题实例）实现严格的基准测试，涵盖不同的景观特征。
• 通过三种性能指标实现评估标准化，确保不同 MetaBBO-RL 方法之间的一致性与可比性评估。
• 通过开源平台并统一接口集成所有基线方法，促进可复现性与社区范围的进展。

提出的方法

• MetaBox 引入了一个模块化的 MetaBBO-RL 模板，将元层级的强化学习智能体与底层黑箱优化器解耦，支持即插即用的实现方式，并提供统一接口。
• 通过单一的 run_experiment() 命令自动化实现训练-测试-日志记录的完整流程，简化从训练到评估再到结果记录的工作流。
• 平台集成了一个大规模的 MetaBox 测试套件，包含 300 多个基准问题，源自 COCO 和 Protein-Docking v4.0，涵盖多种属性，如模态、条件性与噪声水平。
• 一个全面的基线库包含 19 种方法——从经典优化器（如 CMA-ES、PSO）到近期的 MetaBBO-RL 和 MetaBBO-SL 方法——均使用 MetaBBO-RL 模板一致实现。
• 框架采用类似 Gym 的环境，统一强化学习智能体与问题实例之间的交互，支持标准化的状态、动作与奖励信号传递。
• 采用日志记录模块，记录并可视化训练与测试日志，包括性能曲线、得分与对比表格，支持透明化分析。

实验结果

研究问题

• RQ1 在超过 300 个具有不同景观特征的多样化、标准化基准问题集合上，不同 MetaBBO-RL 方法的性能表现如何？
• RQ2 在相同评估条件下，近期 MetaBBO-RL 方法相较于经典黑箱优化器与 MetaBBO-SL 方法的相对性能如何？
• RQ3 MetaBBO-RL 模板与自动化工作流在多大程度上降低了元优化研究中的实现复杂度，并提升了可复现性？
• RQ4 哪些问题特征（如多峰性、病态条件、噪声）对 MetaBBO-RL 智能体的泛化能力与鲁棒性影响最大？
• RQ5 标准化指标在多大程度上实现了不同研究团队之间 MetaBBO-RL 方法的更可靠、可比的评估？

主要发现

• MetaBox 通过统一接口与标准化测试环境，实现了 MetaBBO-RL 方法的一致且可复现的评估，显著降低了不同研究中实现差异性。
• 该基准包含超过 300 个问题实例，覆盖合成与真实世界场景，包括多峰、病态条件、噪声与结构化景观，确保对各类优化挑战的广泛覆盖。
• 基线库集成了 19 种多样化的优化器——涵盖经典与前沿的 MetaBBO-RL 方法——确保在相同条件下实现公平且直接的比较。
• 平台的自动化训练-测试-日志工作流显著降低了工程负担，使研究人员能够专注于算法创新而非基础设施构建。
• MetaBox 支持对性能曲线、得分与对比表格的全面可视化与日志记录，支持对不同问题类型下方法行为的深入分析。
• MetaBox 在 https://github.com/GMC-DRL/MetaBox 开源发布，促进了社区采纳，加速了 MetaBBO-RL 领域的研究进展。