[論文レビュー] Enhancing Generalization and Scalability for Multi-Objective Optimization with Population Pre-Training

Haokai Hong, Min Jiang+2 more|arXiv (Cornell University)|Dec 11, 2023

Advanced Multi-Objective Optimization Algorithms被引用数 6

ひとこと要約

本稿では、多目的最適化のための事前学習型トランスフォーマー（PET）を用いて、多様なMOPから進化パターンを学習することで、高品質な集団を生成する事前進化モデル（PEM）を提案する。PETはベンチマーク問題で事前進化され、新しいMOPに対して反復的評価フィードバックを用いて微調整される。本手法は、大規模・多数の目的関数・制約付き・計算コストの高い問題において、最先端のMOEAを著しく上回る性能を発揮する。

ABSTRACT

Multi-objective optimization problems (MOPs) require the simultaneous optimization of conflicting objectives. Real-world MOPs often exhibit complex characteristics, including high-dimensional decision spaces, many objectives, or computationally expensive evaluations. While population-based evolutionary computation has shown promise in addressing diverse MOPs through problem-specific adaptations, existing approaches frequently lack generalizability across distinct problem classes. Inspired by pre-training paradigms in machine learning, we propose a Population Pre-trained Model (PPM) that leverages historical optimization knowledge to solve complex MOPs within a unified framework efficiently. PPM models evolutionary patterns via population modeling, addressing two key challenges: (1) handling diverse decision spaces across problems and (2) capturing the interdependency between objective and decision spaces during evolution. To this end, we develop a population transformer architecture that embeds decision spaces of varying scales into a common latent space, enabling knowledge transfer across diverse problems. Furthermore, our architecture integrates objective-space features through objective fusion to enhance population prediction accuracy for complex MOPs. Our approach achieves robust generalization to downstream optimization tasks with up to 5,000 dimensions--five times the training scale and 200 times greater than prior work. Extensive evaluations on standardized benchmarks and out-of-training real-world applications demonstrate the consistent superiority of our method over state-of-the-art algorithms tailored to specific problem classes, improving the performance and generalization of evolutionary computation in solving MOPs.

研究の動機と目的

• 多様な複雑なMOPを解く際、従来の多目的進化的アルゴリズム（MOEA）における一般化性とスケーラビリティの欠如に取り組む。
• 大規模な意思決定変数、多数の目的関数、高コストな評価、制約を扱う際のMOEAの非効率性を克服する。
• 自然言語処理やコンピュータビジョンにおける大規模事前学習のインスピレーションを受けて、進化知識を問題間で転送する、新たなパラダイム「事前進化と微調整進化」を提唱する。
• 従来の集団再生成オペレータの代わりに学習可能で適応可能なモデルを統合する汎用的最適化フレームワークを開発する。
• 合成ベンチマークおよび実世界の応用において、PETの有効性を示す。特に、制約付きで評価回数が限られた高次元問題を対象とする。

提案手法

• MOEAにおける集団再生成の汎用的代替手段として、事前進化モデル（PEM）を設計し、MOP間での転移学習を可能にする。
• 古典的トランスフォーマー構造に基づく事前進化型トランスフォーマー（PET）を実装し、次元埋め込みと目的関数符号化を用いて解集団を処理する。
• 多様な問題タイプにわたる効果的な進化パターンを学習するために、多数の既存MOPのコーパス上でPETを事前学習する。
• 新しいMOPに対して、反復的に後代を生成し、評価し、フィードバックを用いてモデルを更新することで微調整を行う。
• SBX、DE、PMなどの標準的再生成オペレータを置き換えることで、既存のMOEA（例：NSGA-II、WOF）にPETを統合する。
• 事前進化段階ではマスク学習（目的解が隠されている状態）を、微調整進化段階では自己回帰的生成（生成された解が評価され、フィードバックとして戻される）を用いる。

実験結果

リサーチクエスチョン

• RQ1 事前学習モデルは、多様なMOPにわたる一般化可能な進化パターンを学習できるか？ これにより、多目的最適化における集団の質が向上するか？
• RQ2 トランスフォーマー型モデルを事前進化させることで、大規模・多数の目的関数・計算コストの高い問題において、従来のMOEAに比べて一般化性とスケーラビリティが向上するか？
• RQ3 PETの微調整プロセスは、評価回数が限られた新しいMOPおよび制約付き問題に適応可能で、優れた性能を発揮するか？
• RQ4 事前学習は、複雑な制約と高次元性を有する実世界の応用において、MOEAの性能をどの程度向上させるか？
• RQ5 事前学習段階で見未曾な問題に本手法の事前進化と微調整進化パラダイムが適用された場合でも、有効であるか？

主な発見

• ZDT6において、3,000および5,000の意思決定変数を有する状況で、劣悪なアルゴリズムに対して91.62の向上を達成し、大規模問題における強力な性能を示した。
• LSMOP 7–9において、PETは、最大10の目的関数、2,500～5,000次元の高次元、1,000回の評価という計算コストの高い設定において、最先端のMOEAを著しく上回った。
• 3,000次元および制約付きの実世界のTREE問題（TREE 1–5の5つのインスタンス）において、PETは全インスタンスで最高の結果を達成した。一部のベースラインは妥当解に到達できなかった。
• アブレーションスタディにより、事前進化されていないPETはランダムな再生成オペレータと同等の性能にとどまり、事前学習が有効性を発揮するために不可欠であることが確認された。
• 事前進化されていない問題においても、PETは発現的機能を示し、事前学習分布を超えて一般化可能であることを示唆した。
• 統計的検定により、PETの優位性が確認され、ほとんどのベンチマークでp < 0.05であった。顕著な改善は表中に「+」で示された。