[論文レビュー] Learning adaptive differential evolution algorithm from optimization experiences by policy gradient

Jianyong Sun, Xin Liu+2 more|arXiv (Cornell University)|Feb 6, 2021

Metaheuristic Optimization Algorithms Research参考文献 55被引用数 4

ひとこと要約

本稿では、強化学習に基づく適応的差分進化（LDE）アルゴリズムを提案する。この手法は、LSTMコントローラーを用いた方策勾配法により、最適な制御パラメータ（F, CR, N）を最適化経験から学習する。パラメータ制御をマークフ・意思決定過程としてモデル化し、CEC’13およびCEC’17のテストセットで競争力ある性能を達成し、進化計算における経験に基づく適応的パラメータチューニングの有効性を示している。

ABSTRACT

Differential evolution is one of the most prestigious population-based stochastic optimization algorithm for black-box problems. The performance of a differential evolution algorithm depends highly on its mutation and crossover strategy and associated control parameters. However, the determination process for the most suitable parameter setting is troublesome and time-consuming. Adaptive control parameter methods that can adapt to problem landscape and optimization environment are more preferable than fixed parameter settings. This paper proposes a novel adaptive parameter control approach based on learning from the optimization experiences over a set of problems. In the approach, the parameter control is modeled as a finite-horizon Markov decision process. A reinforcement learning algorithm, named policy gradient, is applied to learn an agent (i.e. parameter controller) that can provide the control parameters of a proposed differential evolution adaptively during the search procedure. The differential evolution algorithm based on the learned agent is compared against nine well-known evolutionary algorithms on the CEC'13 and CEC'17 test suites. Experimental results show that the proposed algorithm performs competitively against these compared algorithms on the test suites.

研究の動機と目的

• 差分進化における最適な制御パラメータ（F, CR, N）の選定という課題に取り組む。これらは通常、問題固有であり、手動でのチューニングが困難である。
• 固定またはヒューリスティックなパラメータ制御の限界を克服し、リアルタイムのフィードバックに基づいて探索中に動的かつ適応的なパラメータ調整を可能にする。
• 1回の実行からのオンラインフィードバックに依存するのではなく、複数の問題にわたる歴史的最適化経験から学習するパラメータコントローラーを開発する。
• 安定的で一般化可能なパラメータ方策を発見するために強化学習を活用し、差分進化のロバスト性、効率性、性能を向上させる。
• 探索と開拓のバランスを、探索の進行状況や問題特性に基づいて、FとCRの値を高くまたは低くするタイミングを学習することで、適応的に制御できるようにする。

提案手法

• 適応的パラメータ制御問題を、状態が最適化の進行状況を表し、行動がパラメータ設定を表す有限ホライズンのマークフ意思決定過程（MDP）としてモデル化する。
• 歴史的最適化状態を符号化し、制御パラメータ（F, CR, N）を生成するため、方策ネットワークとして長短期記憶（LSTM）再帰ニューラルネットワークを用いる。
• 収束品質と多様性指標に基づく累積報酬を最大化するように、ポリシー勾配強化学習アルゴリズムを用いてLSTM方策を訓練する。
• CEC’13テストセットでのトレーニングから得た最適化経験を収集し、未観測の問題に展開する前にコントローラーの事前トレーニングを実施する。
• 訓練済みコントローラーを標準的なDEフレームワークに統合し、探索プロセスの各世代で動的パラメータ更新を可能にする。
• 状態特徴量（例：適応度範囲、集団の多様性、収束速度）をLSTMの入力として定義し、適応的パラメータ選択を支援する。

実験結果

リサーチクエスチョン

• RQ1 強化学習エージェントは、複数の問題にわたる最適化経験に基づいて、DEパラメータ（F, CR, N）を適応的に制御できるか？
• RQ2 方策勾配法で訓練されたLSTMコントローラーは、収束速度および解の質の観点で、従来の固定またはヒューリスティックなパラメータ制御戦略を上回るか？
• RQ3 学習済みパラメータ方策は、異なる問題タイプ、特に未観測のCEC’17ベンチマーク関数に対してどれほど一般化可能か？
• RQ4 特定の問題セット（例：30次元問題）でのトレーニングが、異なる次元数の問題やより高次元の問題への適用におけるコントローラーの性能に与える影響は何か？
• RQ5 オンラインフィードバックのみに依存する手法と比較して、経験に基づく学習は、より安定的かつロバストなパラメータ適応を実現できるか？

主な発見

• 提案されたLDEアルゴリズムは、CEC’13およびCEC’17テストセットの両方で、9種類の代表的な進化的アルゴリズムと比較して競争力ある性能を示し、強力な一般化性とロバスト性を確認した。
• 方策勾配法で訓練されたLSTMコントローラーは、問題の局所的特徴や探索の進行状況に応じてFとCRを動的に調整することで、探索と開拓のバランスを的確に制御した。
• 30次元問題でのコントローラーのトレーニングには膨大な計算リソースを要し、CPU/GPU時間の大幅な消費が見られた。これは、高いトレーニングコストとスケーラビリティの課題を示している。
• トレーニングデータと類似しない特徴を持つ問題では、学習済みコントローラーの性能が限定的であった。これは、一般化がトレーニングデータの類似性に制限されていることを示唆している。
• LSTM方策ネットワークの推論オーバーヘッドのため、LDEアルゴリズムの時間計算量は、ベースラインのDEバージョンよりも高くなった。
• 計算コストが高かっただけでなく、LDE手法は複数の最先端アルゴリズムを上回った。これは、進化計算における経験に基づく適応的パラメータ制御の価値を裏付けている。