[論文レビュー] A Survey on Learnable Evolutionary Algorithms for Scalable Multiobjective Optimization

Songbai Liu, Lin, Qiuzhen+2 more|arXiv (Cornell University)|Jun 23, 2022

Advanced Multi-Objective Optimization Algorithms被引用数 6

ひとこと要約

本調査では、複雑で大規模な多目的最適化問題（MOPs）におけるスケーラビリティの課題に対処するために、機械学習を多目的進化的アルゴリズム（MOEAs）に統合する学習可能進化的アルゴリズム（LEAs）を紹介する。学習可能コンポーネント（環境選択のための識別器、再生のための生成器、関数評価のための評価器、経験共有のための転送モジュール）を用いることで、LEAsは多目的最適化問題の多様な特性、たとえば多数の目的関数、高コストの評価、時間的に変化する環境などに対しても、適応性と性能を向上させる。

ABSTRACT

Recent decades have witnessed great advancements in multiobjective evolutionary algorithms (MOEAs) for multiobjective optimization problems (MOPs). However, these progressively improved MOEAs have not necessarily been equipped with scalable and learnable problem-solving strategies for new and grand challenges brought by the scaling-up MOPs with continuously increasing complexity from diverse aspects, mainly including expensive cost of function evaluations, many objectives, large-scale search space, time-varying environments, and multi-task. Under different scenarios, divergent thinking is required in designing new powerful MOEAs for solving them effectively. In this context, research studies on learnable MOEAs with machine learning techniques have received extensive attention in the field of evolutionary computation. This paper begins with a general taxonomy of scaling-up MOPs and learnable MOEAs, followed by an analysis of the challenges that these MOPs pose to traditional MOEAs. Then, we synthetically overview recent advances of learnable MOEAs in solving various scaling-up MOPs, focusing primarily on four attractive directions (i.e., learnable evolutionary discriminators for environmental selection, learnable evolutionary generators for reproduction, learnable evolutionary evaluators for function evaluations, and learnable evolutionary transfer modules for sharing or reusing optimization experience). The insight of learnable MOEAs is offered to readers as a reference to the general track of the efforts in this field.

研究の動機と目的

• 多数の目的関数、高コストの評価、時間的に変化する環境を含む、現代の多目的最適化問題（MOPs）における複雑さとスケーラビリティの増大する要請に対応すること。
• 大規模で複雑なMOPsを扱う際、従来のMOEAsが適応的でデータ駆動型の戦略を効果的に実行できない限界を特定すること。
• 機械学習を活用して最適化性能とスケーラビリティを向上させる最近の学習可能MOEAsの進展を体系的に分類・分析すること。
• 進化的計算における多目的問題に機械学習コンポーネントを統合するための統一されたフレームワークを提示すること。
• 異なるMOPやシナリオ間で最適化経験を再利用する可能性に焦点を当て、転移学習とメタラーニングの有効性を強調すること。

提案手法

• 高価な関数評価、多数の目的関数、巨大な探索空間、時間変動環境、マルチタスク最適化を含む、主な課題に基づいてMOPスケーリングの分類を提案する。
• 4つのコアな学習可能コンポーネントを導入：環境選択のための学習可能進化的識別器、再生のための学習可能生成器、フィットネスの補間モデル化のための学習可能評価器、知識共有のための学習可能転送モジュール。
• 深層学習と強化学習の技術を進化演算子に統合し、選択、変異、評価の段階で適応的決定を可能にする。
• メタラーニングと少数のサンプルでの適応戦略を用いて、異なるMOPインスタンス間で最適化経験を転送し、サンプル効率を向上させる。
• MLモデルをMOEAパイプラインに統合する形式的定式化を行い、履歴最適化データに基づいてモデルを学習させ、新しいまたは複雑な問題インスタンスにおける探索を支援する。
• LEAsのモジュラー設計を実証し、問題の特性に応じて学習可能コンポーネントの柔軟な交換と組み合わせが可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 機械学習技術をどのように体系的に多目的進化的アルゴリズムに統合することで、スケーラビリティと性能を向上させられるか？
• RQ2 従来のMOEAsが効果的に対処できない、大規模で複雑なMOPsが引き起こす主な課題は何か？
• RQ3 識別器、生成器、評価器、転送モジュールなどの学習可能コンポーネントが、MOEAsの適応性と効率をどのように向上させるか？
• RQ4 学習可能転送モジュールを用いて、異なるMOP間で最適化経験をどのように共有または再利用できるか？
• RQ5 実世界の応用において、スケーラブルで学習可能なMOEAsを設計するにあたり、最も有望な方向性とアーキテクチャは何か？

主な発見

• 学習可能進化的識別器は、パレート最適なフロント境界を学習することで、環境選択における収束性と多様性を顕著に向上させる。
• 学習可能生成器は、問題固有の探索パターンをモデル化することで、複雑で多次元な探索空間を効果的に探索し、従来の変異演算子を上回る性能を発揮する。
• 学習可能評価器は、限られたデータに基づいてトレーニングされた補間モデルを用いることで、高価な関数評価の回数を削減する。
• 学習可能転送モジュールは、事前に解決済みの問題からの知識を転送することで、新しいMOPにおける収束速度を向上させ、特に少数のサンプルでのシナリオで顕著な効果を示す。
• 複数の学習可能コンポーネントを統合することで、多数目的問題や動的問題を含む多様なMOPにおいて、ベースラインMOEAsに比べて優れた性能が得られる。
• 本調査では、深層学習とメタラーニングを統合したハイブリッド化の明確なトレンドが明らかになった。これにより、適応的でスケーラブルかつ一般化可能な最適化フレームワークが実現可能となる。