[論文レビュー] Synthesis of separation processes with reinforcement learning

Stephan C. P. A. van Kalmthout, Laurence I. Midgley+1 more|arXiv (Cornell University)|Nov 3, 2022

Process Optimization and Integration被引用数 7

ひとこと要約

本論文は、深層強化学習（特にSoft Actor-Critic）をAspen Plus V12と統合し、炭化水素分離のための蒸留プロセスの自動合成と最適化を実現することを示している。RLエージェントは反復的ポリシー改善を通じて利益を最大化する学習に成功し、9,405エピソード後に最大856 M€の利益を達成したが、Aspen Plusにおけるシミュレーション速度の遅さと不安定なAPI通信が性能を制限した。

ABSTRACT

This paper shows the implementation of reinforcement learning (RL) in commercial flowsheet simulator software (Aspen Plus V12) for designing and optimising a distillation sequence. The aim of the SAC agent was to separate a hydrocarbon mixture in its individual components by utilising distillation. While doing so it tries to maximise the profit produced by the distillation sequence. All actions of the agent were set by the SAC agent in Python and communicated in Aspen Plus via an API. Here the distillation column was simulated by use of the build-in RADFRAC column. With this a connection was established for data transfer between Python and Aspen and the agent succeeded to show learning behaviour, while increasing profit. Although results were generated, the use of Aspen was slow (190 hours) and Aspen was found unsuitable for parallelisation. This makes that Aspen is incompatible for solving RL problems. Code and thesis are available at https://github.com/lollcat/Aspen-RL

研究の動機と目的

• 化学工学分野におけるプロセス合成に強化学習を適用する可能性を検討すること、特に蒸留プロセスの設計を対象とする。
• 商業的フローチャートシミュレータ（Aspen Plus V12）内での自律的蒸留プロセス設計と最適化を実装するSoft Actor-Critic（SAC）エージェントを構築すること。
• シミュレーション環境との相互作用を通じて、再循環比や段数といった最適なカラム構成を学習し、経済的利益を最大化する能力を評価すること。
• 特にシミュレーション速度と安定性の面で課題を抱える商業プロセスシミュレータ（Aspen Plusなど）を強化学習の環境として使用する際の制限要因を特定すること。

提案手法

• エージェントは、方策最適化とエントロピー最大化を組み合わせることで探査と活用のバランスを取るSoft Actor-Critic（SAC）アルゴリズムを用いてPythonで実装された。
• エージェントはカスタムAPIを通じてAspen Plusと連携し、行動（例：再循環比、段数）をRADFRACカラムモデルに送信し、状態観測値と報酬を受信した。
• 状態空間にはストリーム組成、流量、カラムパラメータが含まれ、行動空間にはカラム設計変数の離散的および連続的調整が含まれた。
• 報酬関数はエネルギー費と製品価値から算出されるネット利益として定義され、非合理的な構成に対してペナルティが課された。
• 訓練安定性を向上させるために、ポリアクス・アベーリッジを用いたターゲットQネットワークを用いてクリティックネットワークを訓練した。また、エントロピー温度ハイパーパrameterは動的に更新された。
• 学習率とターゲットスムージング係数を調整することで、探査と活用のバランスを制御するためのハイパーパramータチューニングが実施された。

実験結果

リサーチクエスチョン

• RQ1 Soft Actor-Criticエージェントは、Aspen Plusのような商業的プロセスシミュレータ内において、最大利益を達成するための蒸留プロセスを有効に学習できるか？
• RQ2 エピソードの経過に伴い、エージェントの学習行動は方策収束と報酬向上の観点でどのように変化するか？
• RQ3 エージェントのパフォーマンスは、1エピソードあたりのエージェント更新回数やエントロピー温度といったハイパーパramータにどの程度依存するか？
• RQ4 Aspen Plusのような商業プロセスシミュレータを強化学習の環境として使用する際の主な技術的制限要因は何か？
• RQ5 従来の手法（例：DSTWU）から得られる初期設計を用いることで、RLエージェントのサンプル効率と収束速度が向上するか？

主な発見

• RLエージェントは蒸留プロセスの利益を向上させる学習に成功し、1エピソードあたり4回のエージェント更新を実施した結果、9,405エピソード後に最大856 M€の利益を達成した。
• エージェントは高速な収束を示し、報酬が急激に上昇した後、約6,500エピソードで安定化し、その後再び探査が再開され、分散が増加した。
• ストリーム分離の成功率は98.9%に達し、分離に失敗した行動は1.1%にとどまり、方策の安定性が高かった。
• Aspen Plusにおける収束エラーは低く（最良構成で0.03%）、大多数の行動が妥当なシミュレーションをもたらした。
• 9,405エピソードのシミュレーションに160.9時間かかったため、Aspen Plusは効率的なRL訓練には不適切であると判明した。
• API接続は不安定で、0.2%の通信断発生が確認され、環境は並列化に不適切であり、スケーラビリティに制限があった。