[論文レビュー] A Scalable Test Problem Generator for Sequential Transfer Optimization

Xiaoming Xue, Cuie Yang+4 more|arXiv (Cornell University)|Apr 17, 2023

Advanced Multi-Objective Optimization Algorithms被引用数 4

ひとこと要約

本稿では、順次的転移最適化（STO）のためのスケーラブルなテスト問題生成ツールを提案する。このツールは、ソースタスクとターゲットタスク間の類似性分布をカスタマイズ可能に設定でき、STO研究における体系的なベンチマークの欠如を解消する。逆変換サンプリングを用いて類似性分布を明示的に定義することで、多様で現実的なSTO問題を生成し、ソース選択アルゴリズムの性能差を露呈する。既存のベンチマークと比較して、優れた評価能力を示している。

ABSTRACT

Sequential transfer optimization (STO), which aims to improve the optimization performance on a task of interest by exploiting the knowledge captured from several previously-solved optimization tasks stored in a database, has been gaining increasing research attention over the years. However, despite the remarkable advances in algorithm design, the development of a systematic benchmark suite for comprehensive comparisons of STO algorithms received far less attention. Existing test problems are either simply generated by assembling other benchmark functions or extended from specific practical problems with limited scalability. The relationships between the optimal solutions of the source and target tasks in these problems are also often manually configured, limiting their ability to model different similarity relationships presented in real-world problems. Consequently, the good performance achieved by an algorithm on these problems might be biased and hard to be generalized to other problems. In light of the above, in this study, we first introduce four concepts for characterizing STO problems and present an important problem feature, namely similarity distribution, which quantitatively delineates the relationship between the optima of the source and target tasks. Then, we present the general design guidelines of STO problems and a particular STO problem generator with good scalability. Specifically, the similarity distribution of a problem can be easily customized, enabling a continuous spectrum of representation of the diverse similarity relationships of real-world problems. Lastly, a benchmark suite with 12 STO problems featured by a variety of customized similarity relationships is developed using the proposed generator. The source code of the problem generator is available at https://github.com/XmingHsueh/STOP-G.

研究の動機と目的

• 順次的転移最適化（STO）アルゴリズムを評価するための体系的なベンチマークスイートの欠如に対処すること。
• STOベンチマークにおいて、ソースタスクとターゲットタスク間の類似性分布が重要な問題特徴である役割を特定すること。
• カスタマイズ可能な類似性分布をサポートするスケーラブルかつ拡張可能なテスト問題生成ツールを開発すること。
• さまざまな類似性関係を持つ12のSTO問題からなるベンチマークスイートを構築し、公平かつ包括的なアルゴリズム評価を可能にすること。
• 提案された生成ツールが、既存の合成テスト問題と比較して、ソース選択手法間の性能差をより効果的に区別できることを示すこと。

提案手法

• STO問題を特徴付ける4つの基礎的概念を導入：タスクファミリー、タスク最適解マッピング、最適解カバレッジ、類似性分布。
• 逆変換サンプリングに基づく新しい最適解設定方式を提案し、ソースタスクとターゲットタスクの最適解間の類似性分布を明示的に制御すること。
• 多様な最適化シナリオに対応できるスケーラビリティと拡張性を備えたSTO問題生成の一般枠組みを設計すること。
• 基本関数およびその組み合わせを用いて、調整可能な類似性関係を持つ合成STO問題を構築すること。
• 評価実験のバックボーンとして、標準的な演算子（シミュレーテッドバイナリクローニング、多項式変異）を備えた進化的アルゴリズムを採用すること。
• 異なるテスト問題セット間でのアルゴリズム順位を統計的に比較するために、ウィルコクソン・ランク・スム・検定を用いること。

実験結果

リサーチクエスチョン

• RQ1 カスタマイズ可能な類似性分布を持つテスト問題生成ツールは、既存のベンチマークと比較して、STOにおけるソース選択手法の性能差をより効果的に区別できるか？
• RQ2 ソースタスクとターゲットタスク間の類似性分布が変化することで、STOアルゴリズムの順位付けと相対的性能にどのような影響を与えるか？
• RQ3 提案された生成ツールは、STO評価のための多様で代表的なベンチマークスイートの構築をどの程度サポートできるか？
• RQ4 提案されたSTO問題は、既存のテスト問題が隠蔽していたソース選択アルゴリズム間の性能差を明らかにできるか？
• RQ5 類似性分布という特徴が、STOアルゴリズムにおける知識転送の効果性にどのように影響を与えるか？

主な発見

• 提案されたテスト問題生成ツールは、ソースタスクとターゲットタスク間の類似性分布を明示的かつカスタマイズ可能に指定でき、先行研究で固定または手動で設定された関係の限界を克服している。
• 既存のテスト問題では類似性の変動が限定的であり、多くのソースタスクがターゲットタスクに対して非常に高いか非常に低い類似性を示しており、結果としてソース選択アルゴリズムの順位が同率となる傾向にあった。
• これに対して、混合類似性分布を持つ提案されたSTO問題では、ソース選択手法間で明確かつ統計的に有意な性能差が明らかになり、より効果的な評価環境としての有効性が示された。
• 部分空間アライメント（SA）、緩和型順序相関（ROC）、ワッサーシュタイン距離（WD）といったアルゴリズムは、新しいベンチマークスイートにおいて順位が向上し、性能の一貫性が向上しており、類似性構造への感受性が高まっていることが示された。
• 提案されたフレームワークを用いて生成された12のSTO問題からなるベンチマークスイートは、広範な類似性関係を的確に捉えており、より包括的かつ信頼性の高いアルゴリズム評価を可能にした。
• 問題生成ツールのソースコードは https://github.com/XmingHsueh/STOP-G で公開されており、再現性と今後の拡張を支援している。