[论文解读] Biobjective Performance Assessment with the COCO Platform

Dimo Brockhoff, Tea Tušar+4 more|arXiv (Cornell University)|May 5, 2016

Advanced Multi-Objective Optimization Algorithms参考文献 14被引用 26

一句话总结

本文在 COCO 平台中引入了一种基于超体积的质量指标的双目标性能评估框架，用于衡量算法达到预设目标超体积值所需的运行时间。通过整合多个多目标算法的非支配解，建立参考超体积，即使真实帕累托前沿未知，也能实现对双目标优化器的一致、可复现的基准测试。

ABSTRACT

This document details the rationales behind assessing the performance of numerical black-box optimizers on multi-objective problems within the COCO platform and in particular on the biobjective test suite bbob-biobj. The evaluation is based on a hypervolume of all non-dominated solutions in the archive of candidate solutions and measures the runtime until the hypervolume value succeeds prescribed target values.

研究动机与目标

• 在 COCO 平台中开发一种标准化、可复现的双目标优化算法性能评估框架。
• 将运行时间定义为达到预设超体积目标值所需的函数评估次数，从而实现不同算法之间的比较。
• 通过整合多个算法的非支配解，建立参考超体积值，因为大多数 bbob-biobj 问题的真实帕累托集未知。
• 通过存储每次算法运行的所有非支配解，支持未来对性能指标的重新计算。
• 通过一致的指标计算，实现对多个问题实例的算法性能泛化与验证。

提出的方法

• 所使用的质量指标是外部档案中非支配解的超体积，以劣化点作为参考点。
• 通过仿射变换计算归一化的超体积指标，将理想点映射到 (0,0)，劣化点映射到 (1,1)。
• 性能测量的目标值定义为一组精度水平，包括负值，以允许超越参考超体积。
• 参考超体积通过整合多个算法（包括 NSGA-II、SMS-EMOA、MOEA/D、RM-MEDA、MO-CMA-ES 和在标量化问题上的 CMA-ES）的非支配解来近似。
• 将每次算法运行的所有非支配解存储下来，以支持未来参考集的更新和性能指标的重新计算。
• 性能数据通过唯一标识符进行版本控制，并通过 COCO 平台的 GitHub 仓库与参考超体积值关联。

实验结果

研究问题

• RQ1 当真实帕累托前沿未知时，如何实现双目标优化算法的一致且可复现的性能评估？
• RQ2 在双目标优化中，衡量算法进展的有效且稳定的质量指标是什么？
• RQ3 应如何定义目标值，以实现不同算法之间运行时间性能的有意义比较？
• RQ4 在缺乏解析帕累托集解的情况下，如何可靠地近似参考超体积值？
• RQ5 如何在不使先前基准结果失效的前提下，集成对参考集的未来改进？

主要发现

• COCO 平台使用外部档案的超体积指标作为双目标优化的主要质量度量，运行时间定义为达到目标值所需的函数评估次数。
• 目标值定义为一系列精度水平，包括负值，以允许超越参考超体积，运行时间以经验累积分布函数形式报告。
• 参考超体积由整合多个算法（包括 NSGA-II、SMS-EMOA、MOEA/D、RM-MEDA、MO-CMA-ES 和在标量化问题上的 CMA-ES）的非支配解形成的非支配参考集计算得出。
• 通过持续整合每次算法运行的非支配解，参考集不断得到改进，从而支持未来性能指标的重新计算。
• 性能数据已进行版本控制，并与所使用的特定参考超体积值关联，确保通过 COCO 平台 GitHub 仓库实现可复现性和可追溯性。
• 该方法即使在真实帕累托前沿无法通过解析方式获得的情况下，也能实现对双目标优化器的一致、可扩展且可延伸的基准测试。