[論文レビュー] Enhancing SAEAs with Unevaluated Solutions: A Case Study of Relation Model for Expensive Optimization

Hao Hao, Xiaoqun Zhang+1 more|arXiv (Cornell University)|Sep 21, 2023

Advanced Multi-Objective Optimization Algorithms被引用数 4

ひとこと要約

本稿では、独自の関係モデルによって予測された未評価の解から直接高潜力な後代を生成することにより、高価な最適化における探索効率を向上させる、新たなサーモグラフ支援進化的アルゴリズム（DRSO）を提案する。XGBoostに基づく関係モデルを用いて評価なしに解をランク付けすることで、DRSOは集団の多様性と収束速度を向上させ、ベンチマーク問題における選択精度とアルゴリズム的性能において回帰モデルや分類モデルを上回る。

ABSTRACT

Surrogate-assisted evolutionary algorithms (SAEAs) hold significant importance in resolving expensive optimization problems~(EOPs). Extensive efforts have been devoted to improving the efficacy of SAEAs through the development of proficient model-assisted selection methods. However, generating high-quality solutions is a prerequisite for selection. The fundamental paradigm of evaluating a limited number of solutions in each generation within SAEAs reduces the variance of adjacent populations, thus impacting the quality of offspring solutions. This is a frequently encountered issue, yet it has not gained widespread attention. This paper presents a framework using unevaluated solutions to enhance the efficiency of SAEAs. The surrogate model is employed to identify high-quality solutions for direct generation of new solutions without evaluation. To ensure dependable selection, we have introduced two tailored relation models for the selection of the optimal solution and the unevaluated population. A comprehensive experimental analysis is performed on two test suites, which showcases the superiority of the relation model over regression and classification models in the selection phase. Furthermore, the surrogate-selected unevaluated solutions with high potential have been shown to significantly enhance the efficiency of the algorithm.

研究の動機と目的

• 1つの世代あたりの実評価回数が限られるため生じるSAEAにおける集団分散の低さを是正すること。
• 高品質な未評価の解を活用することで、高価な最適化における探索効率を向上させること。
• 従来の回帰モデルや分類モデルよりも解の品質ランク付けをより正確に捉えるサーモグラフモデルを設計すること。
• 未評価の解が収束速度の加速とアルゴリズムの競争力向上に寄与することを検証すること。

提案手法

• 相対的フィットネスまたはカテゴリーランクに基づく関係ペアを構築する二重関係モデルフレームワーク（R-C1 および R-C2）を導入し、サーモグラフモデリングに用いる。
• XGBoostを用いて関係ペアから学習し、投票スコア戦略を採用することで解の品質予測のロバスト性を向上させる。
• 最も予測された解を実評価に使用する一方で、他の高潜力な未評価の解を直接後代生成に活用する。
• EDA/LSからの再生演算子を未評価の解に適用することで、集団の多様性と探索を維持する。
• 外部アーカイブを維持し、実評価結果と予測ランクを繰り返し用いてサーモグラフモデルを更新する。
• 後代生成に使用する未評価解の割合を制御するパラメータ $ t $ を採用し、$ t=50\% $ が最適であると判明した。

(a)

実験結果

リサーチクエスチョン

• RQ1 サーモグラフモデルによって予測された未評価の解は、SAEAにおける集団の多様性と収束性を効果的に向上させることができるか？
• RQ2 回帰モデルや分類モデルと比較して、関係モデルは高品質な解の選択においてどのように優れているか？
• RQ3 最適なアルゴリズム的性能を得るために、後代生成に含める未評価解の最適割合 $ t $ はどの程度か？
• RQ4 未評価の解の使用は、SAEAの実行時間における収束速度を顕著に向上させるか？
• RQ5 関係モデルは過学習を避けながら、解の品質の順序を正確に予測できるか？

主な発見

• 関係モデル（R-C1 および R-C2）は、XGBR や XGBC よりも選択精度が高く、R-C1 は四分位範囲がより集中しており、R-C2 は最大性能が優れていた。
• 未評価解を $ t=50\% $ で使用する DRSO が収束速度で最良の結果を示し、$ t=10\% $ や $ t=30\% $ の変種を上回った。特にエリプソイド関数やグリエンウォーク関数において顕著であった。
• アブレーションスタディにより、未評価解を排除した場合（DRSO’）は収束が遅くなることが確認され、未評価解が探索の加速に果たす重要性が裏付けられた。
• 回帰モデルとは異なり、過学習を回避しながら解の順序を効果的に保持した一方で、分類モデルよりも詳細な区分けを提供した。
• LZG および YLL テストスイートにおいて、20D および 50D の探索空間において、DRSO はEAs、SAEAs、ベイジアン最適化手法と比較して強く、高い競争力を示した。
• 関数に依存しない安定した性能を示し、探索と活用のバランスを最適化するには $ t=50\% $ が最適であると特定された。

(a)