[論文レビュー] Constrained Multi-objective Optimization with Deep Reinforcement Learning Assisted Operator Selection

Fei Ming, Wenyin Gong+2 more|arXiv (Cornell University)|Jan 15, 2024

Advanced Multi-Objective Optimization Algorithms被引用数 5

ひとこと要約

この論文は、制約付き多目的最適化進化アルゴリズム（CMOEAs）向けの Deep Q-Learning ベースのオンラインオペレーター選択フレームワークを提案し、複数のベンチマークおよび既存の CMoeAs における性能を向上させることを示します。

ABSTRACT

Solving constrained multi-objective optimization problems with evolutionary algorithms has attracted considerable attention. Various constrained multi-objective optimization evolutionary algorithms (CMOEAs) have been developed with the use of different algorithmic strategies, evolutionary operators, and constraint-handling techniques. The performance of CMOEAs may be heavily dependent on the operators used, however, it is usually difficult to select suitable operators for the problem at hand. Hence, improving operator selection is promising and necessary for CMOEAs. This work proposes an online operator selection framework assisted by Deep Reinforcement Learning. The dynamics of the population, including convergence, diversity, and feasibility, are regarded as the state; the candidate operators are considered as actions; and the improvement of the population state is treated as the reward. By using a Q-Network to learn a policy to estimate the Q-values of all actions, the proposed approach can adaptively select an operator that maximizes the improvement of the population according to the current state and thereby improve the algorithmic performance. The framework is embedded into four popular CMOEAs and assessed on 42 benchmark problems. The experimental results reveal that the proposed Deep Reinforcement Learning-assisted operator selection significantly improves the performance of these CMOEAs and the resulting algorithm obtains better versatility compared to nine state-of-the-art CMOEAs.

研究の動機と目的

• 演算子の選択が性能に大きく影響する CMOPs のための適応的オペレーター選択を動機づける。
• 収束性、多様性、適合性を向上させるために、進化的オペレーターを自動的に選択する DRL ベースのフレームワークを開発する。
• このフレームワークを複数の人気CMOEAsに組み込み、難易度の高い CMOP ベンチマークで評価する。
• 42 問題にわたって、最先端の CMOOEAs と比較して性能と汎用性の向上を示す。

提案手法

• 状態を集団の収束度(con)、適合性(fea)、多様性(div)として定義する。
• オペレーターを DRL (Deep Q-Learning) フレームワークのアクションとしてモデル化する。
• 報酬はイテレーション前後の集団状態の差を用いて全体的な改善を捉える。
• 与えられた状態でのオペレーター選択のためのアクション値（Q値）を推定する Deep Q-Network を訓練する。
• DRL ベースのオペレーター選択を four CMOEAs に組み込む: CCMO, PPS, MOEA/D-DAE, EMCMO。
• 経験リプレイと定期的な DQN アップデートを備えたオンライン学習ループを提供し、進化する集団ダイナミクスに適応する。

Figure 1: An illustration of two types of working principles of the DQL technique.

実験結果

リサーチクエスチョン

• RQ1 DRL ベースのオンラインオペレーター選択は、さまざまな CMOPs に跨る制約付き多目的 EAs の性能を向上させることができますか？
• RQ2 CMOPs における収束性、多様性、適合性を考慮した状態、行動、報酬の設計はどうあるべきか？
• RQ3 提案された DRL 支援フレームワークは、複数の CMOOEAs およびベンチマークスイートに一般化可能ですか？
• RQ4 このアプローチは、42 問題にわたって既存の最先端 CMOOEAs よりもより高い汎用性を提供しますか？

主な発見

• DRL 支援オペレーター選択は、組み込まれた CMOEAs の性能を顕著に向上させます。
• このフレームワークは、ベンチマーク問題全体で九つの最先端 CMOOEAs と比較してより高い汎用性を示します。
• 本手法は、経験リプレイを伴うオンライン学習ループを用いて、現在の集団状態に適応したオペレーター選択を行います。
• このアプローチは任意数のオペレーターを組み込むことができ、さまざまな CMOEAs に対応可能です。

Figure 2: The illustration of the proposed DQL model.