[論文レビュー] NEORL: NeuroEvolution Optimization with Reinforcement Learning

Majdi I. Radaideh, Katelin Du+5 more|arXiv (Cornell University)|Dec 1, 2021

Neural Networks and Applications被引用数 8

ひとこと要約

NEORL は、連続的・離散的・制約付きの工学的問題におけるグローバル最適化を目的とした、ニューロエボリューション、強化学習、進化的計算を統合したオープンソースの Python フレームワークです。並列処理、ハイパーパramータチューニング、および原子力エネルギー・燃料電池システムにおける実世界のベンチマークを統合することで、最先端のフレームワークと同等の性能を発揮します。

ABSTRACT

We present an open-source Python framework for NeuroEvolution Optimization with Reinforcement Learning (NEORL) developed at the Massachusetts Institute of Technology. NEORL offers a global optimization interface of state-of-the-art algorithms in the field of evolutionary computation, neural networks through reinforcement learning, and hybrid neuroevolution algorithms. NEORL features diverse set of algorithms, user-friendly interface, parallel computing support, automatic hyperparameter tuning, detailed documentation, and demonstration of applications in mathematical and real-world engineering optimization. NEORL encompasses various optimization problems from combinatorial, continuous, mixed discrete/continuous, to high-dimensional, expensive, and constrained engineering optimization. NEORL is tested in variety of engineering applications relevant to low carbon energy research in addressing solutions to climate change. The examples include nuclear reactor control and fuel cell power production. The results demonstrate NEORL competitiveness against other algorithms and optimization frameworks in the literature, and a potential tool to solve large-scale optimization problems. More examples and benchmarking of NEORL can be found here: https://neorl.readthedocs.io/en/latest/index.html

研究の動機と目的

• 工学的応用におけるニューロエボリューションと強化学習に基づく最適化のための統合的で使いやすいフレームワークの不足に対処すること。
• DEAP や EvoloPy などの既存の Python ライブラリの制限を克服し、進化的計算、深層強化学習、ハイブリッドニューロエボリューション分野の最先端のアルゴリズムを統合すること。
• スケーラブルで並列化された最適化を可能にし、自動ハイパーパramータチューニングと詳細なドキュメンテーションを提供することで、高次元・高コスト・制約付きの問題を含む多様な問題タイプに対応すること。
• 核融合炉制御や燃料電池発電など、実世界の低炭素エネルギー応用における NEORL の有効性を実証すること。
• 将来の多目的最適化や物理情報に基づく設計ワークフローの開発を支援する、柔軟で拡張可能なプラットフォームを提供すること。

提案手法

• 進化的計算（例：DE, PSO, GWO, HHO）、深層強化学習（例：PPO, DQN）、ハイブリッドニューロエボリューションのアルゴリズムを統合する、モジュラーでオブジェクト指向の Python フレームワークを実装すること。
• 強化学習エージェントを用いて、目的関数のフィットネス値を報酬信号として用い、候補解を生成する方策ネットワークを学習させること。
• 複数の CPU/GPU リソースを活用して最適化を高速化するため、並列実行を multiprocessing および分散コンピューティングでサポートすること。
• フレームワークの設定パイプライン内でベイズ最適化またはランダムサーチを用いて、自動ハイパーパramータチューニングを統合すること。
• 連続的および離散的最適化の両方に対応する一貫性のある API を設計し、制約条件および混合整数変数の組み込みサポートを実装すること。
• 感度係数やデータ駆動型クロージャーなどのドメイン特化された物理的事前知識を組み込み、物理情報に基づく工学的問題の最適化を支援すること。

実験結果

リサーチクエスチョン

• RQ1 統合的フレームワークは、多様な最適化問題に対してニューロエボリューション、強化学習、進化的計算を効果的に統合できるか？
• RQ2 NEORL のパフォーマンスは、nlopt、DEAP、EvoloPy、PyOpt などの既存の最適化ライブラリと比較して、ベンチマークおよび実世界の工学的タスクにおいてどの程度優れているか？
• RQ3 ポリシー勾配法で訓練された強化学習エージェントは、高次元または制約付き最適化において、従来の進化的アルゴリズムをどの程度上回るか？
• RQ4 NEORL のモジュラー設計は、多目的最適化や物理情報に基づく最適化に特化した新しいハイブリッドアルゴリズムの開発と統合を可能にするか？
• RQ5 NEORL は、大規模で高コストな実世界の工学的問題、特に低炭素エネルギーシステムにおける最適化にどの程度効果的か？

主な発見

• NEORL は、nlopt、DEAP、EvoloPy、PyOpt などの複数の最先端のアルゴリズムおよび最適化フレームワークと同等の性能を、さまざまなベンチマークおよび工学的問題で示した。
• フレームワークは、核融合炉制御や燃料電池発電分野における複雑で高次元的かつ制約付きの最適化タスクを効果的に解決し、実用的応用の有効性を裏付けた。
• 進化的計算、深層強化学習、ハイブリッド分野の 25 以上のアルゴリズムを統合することで、解空間の強力な探索が可能となり、アルゴリズムバイアスを回避する「無料のランチの定理」を支援した。
• 並列コンピューティングおよび自動ハイパーパramータチューニングのサポートにより、最適化時間の短縮と収束効率の向上が顕著に実現された。
• ベンチマーク結果から、組み合わせ最適化、連続的最適化、混合整数最適化を含む多様な問題タイプにおいて、高い精度と安定性を達成した。
• オープンソースの性質と包括的なドキュメンテーション（https://neorl.readthedocs.io）のおかげで、広範な採用とコミュニティ貢献が可能となり、GitHub リポジトリでは例題スクリプトが公開されている。