[论文解读] A Scalable Test Problem Generator for Sequential Transfer Optimization

Xiaoming Xue, Cuie Yang+4 more|arXiv (Cornell University)|Apr 17, 2023

Advanced Multi-Objective Optimization Algorithms被引用 4

一句话总结

本文提出了一种可扩展的顺序迁移优化（STO）测试问题生成器，能够自定义源任务与目标任务之间的相似性分布，解决了STO研究中系统性基准测试的缺失问题。通过使用逆变换采样方法显式定义相似性分布，该生成器能够创建多样化且现实的STO问题，从而揭示不同源选择算法之间的性能差异，相较于现有基准展现出更优越的评估能力。

ABSTRACT

Sequential transfer optimization (STO), which aims to improve the optimization performance on a task of interest by exploiting the knowledge captured from several previously-solved optimization tasks stored in a database, has been gaining increasing research attention over the years. However, despite the remarkable advances in algorithm design, the development of a systematic benchmark suite for comprehensive comparisons of STO algorithms received far less attention. Existing test problems are either simply generated by assembling other benchmark functions or extended from specific practical problems with limited scalability. The relationships between the optimal solutions of the source and target tasks in these problems are also often manually configured, limiting their ability to model different similarity relationships presented in real-world problems. Consequently, the good performance achieved by an algorithm on these problems might be biased and hard to be generalized to other problems. In light of the above, in this study, we first introduce four concepts for characterizing STO problems and present an important problem feature, namely similarity distribution, which quantitatively delineates the relationship between the optima of the source and target tasks. Then, we present the general design guidelines of STO problems and a particular STO problem generator with good scalability. Specifically, the similarity distribution of a problem can be easily customized, enabling a continuous spectrum of representation of the diverse similarity relationships of real-world problems. Lastly, a benchmark suite with 12 STO problems featured by a variety of customized similarity relationships is developed using the proposed generator. The source code of the problem generator is available at https://github.com/XmingHsueh/STOP-G.

研究动机与目标

• 为解决评估顺序迁移优化（STO）算法时缺乏系统性基准套件的问题。
• 识别源任务与目标任务之间相似性分布作为STO基准测试中的关键问题特征。
• 开发一种可扩展、可扩展的测试问题生成器，支持自定义相似性分布，以生成多样化的STO问题。
• 构建一个包含12个STO问题的基准套件，涵盖不同的相似性关系，以实现公平且全面的算法评估。
• 展示所提出的生成器在区分不同源选择方法性能差异方面的优越性，相较于现有合成测试问题。

提出的方法

• 引入四个基础概念：任务族、任务最优映射、最优覆盖度和相似性分布，以表征STO问题。
• 提出一种基于逆变换采样的新颖最优配置方案，以显式控制源任务与目标任务最优解之间的相似性分布。
• 设计一种通用的STO问题生成框架，支持在多样化优化场景下的可扩展性和可扩展性。
• 使用基本函数及其组合构建具有可调相似性关系的合成STO问题。
• 在评估实验中以标准算子（模拟二叉交叉、多项式变异）的进化算法作为主干优化器。
• 采用Mann-Whitney U检验（即Wilcoxon秩和检验）对不同测试问题集中的算法排名进行统计比较。

实验结果

研究问题

• RQ1 具有自定义相似性分布的测试问题生成器是否能比现有基准更好地区分STO中源选择方法的性能？
• RQ2 源任务与目标任务之间相似性分布的变化如何影响STO算法的排名和相对性能？
• RQ3 所提出的生成器在支持创建多样化且具有代表性的STO基准套件方面的能力有多大？
• RQ4 所提出的STO问题能否揭示现有测试问题所掩盖的源选择算法之间的性能差异？
• RQ5 相似性分布特征在多大程度上影响STO算法中知识迁移的有效性？

主要发现

• 所提出的测试问题生成器能够显式且可自定义地指定源任务与目标任务之间的相似性分布，克服了以往工作中固定或手动配置关系的局限性。
• 现有测试问题的相似性变化有限，大多数源任务与目标任务之间的相似性要么非常高，要么非常低，导致源选择算法排名出现并列。
• 相比之下，具有混合相似性分布的所提STO问题揭示了不同源选择方法之间明显且具有统计显著性的性能差异，证明其作为更有效评估平台的能力。
• 如子空间对齐（SA）、松弛序数相关（ROC）和Wasserstein距离（WD）等算法在新基准套件上表现出更优的排名和性能一致性，表明其对相似性结构具有更好的敏感性。
• 使用所提框架生成的12个STO问题基准套件，成功捕捉了广泛的相似性关系，支持更全面且可靠的算法评估。
• 该问题生成器的源代码已公开发布于 https://github.com/XmingHsueh/STOP-G，支持可复现性与未来扩展。