[論文レビュー] Application of twin delayed deep deterministic policy gradient learning for the control of transesterification process.

Tanuja Joshi, Shikhar Makker+2 more|arXiv (Cornell University)|Feb 25, 2021

Advanced Control Systems Optimization参考文献 35被引用数 7

ひとこと要約

本研究では、バイオディーゼル生産の非線形でバッチ処理であるエステル交換反応プロセスを制御するために、Twin Delayed Deep Deterministic Policy Gradient (TD3)強化学習を適用した。TD3エージェントは連続的制御方策を効果的に学習し、産業用バイオ燃料プロセスにおけるAI駆動最適化の強力な可能性を示した。

ABSTRACT

The persistent depletion of fossil fuels has encouraged mankind to look for alternatives fuels that are renewable and environment-friendly. One of the promising and renewable alternatives to fossil fuels is bio-diesel produced by means of the batch transesterification process. Control of the batch transesterification process is difficult due to its complex and non-linear dynamics. It is expected that some of these challenges can be addressed by developing control strategies that directly interact with the process and learning from the experiences. To achieve the same, this study explores the feasibility of reinforcement learning (RL) based control of the batch transesterification process. In particular, the present study exploits the application of twin delayed deep deterministic policy gradient (TD3) based RL for the continuous control of the batch transesterification process. These results showcase that TD3 based controller is able to control batch transesterification process and can be a promising direction towards the goal of artificial intelligence-based control in process industries.

研究の動機と目的

• バイオディーゼル生産の複雑で非線形なダイナミクスを有するバッチエステル交換反応プロセスの制御という課題に取り組む。
• 深層強化学習が産業規模のバイオ燃料プロセスにおける連続的制御を効果的に管理できるかどうかを調査する。
• TD3が化学バッチプロセスにおけるリアルタイムで適応可能な制御に耐性のある強化学習アルゴリズムとしての実用性を評価する。
• 事前のプロセスモデルが不要な経験からの学習に基づくエンドツーエンドのRLベースの制御系を開発する。

提案手法

• バッチエステル交換反応プロセスにおける連続的制御に、Twin Delayed Deep Deterministic Policy Gradient (TD3)アルゴリズムを採用する。
• 深層ニューラルネットワークを用いて方策関数およびQ値関数を近似し、高次元の行動空間における関数近似を可能にする。
• 遷移を格納およびサンプリングするためのリプレイバッファを実装し、データ効率および学習安定性を向上させる。
• ターゲット方策スムージングと遅延方策更新を適用し、Q値推定における過大評価バイアスを低減する。
• シミュレートされたまたは実際のバッチエステル交換反応環境との相互作用を通じてエージェントを訓練し、収率およびプロセス効率の最適化を図る。
• 温度や触媒添加量などのプロセス変数をリアルタイムで制御するため、連続的行動出力を用いる。

実験結果

リサーチクエスチョン

• RQ1 TD3に基づく強化学習は、バッチエステル交換反応プロセスの非線形ダイナミクスを効果的に制御できるか？
• RQ2 この制御タスクにおいて、TD3アルゴリズムは他の深層強化学習手法と比較して安定性および収束性に優れているか？
• RQ3 プロセスモデルの事前知識がなくても、TD3エージェントは最適制御方策をどれほど効果的に学習できるか？
• RQ4 動的条件下でのプロセス収率および耐障害性という観点から、TD3コントローラーの性能はいかがなものか？

主な発見

• TD3ベースのコントローラーは、安定的かつ一貫性のある性能を示しながら、バッチエステル交換反応プロセスの制御に成功した。
• 従来のDDPGベースの手法と比較して、より高いデータ利用効率と過大評価バイアスの低減が確認された。
• 温度や触媒添加量などの制御入力を動的に調整することで、高いプロセス収率が達成された。
• ターゲット方策スムージングと遅延方策更新の導入により、学習の安定性と収束速度が向上した。
• TD3が複雑で非線形な化学プロセスにおける連続的制御に実用的かつ効果的であることが確認された。
• 本研究は、再生可能エネルギー応用を念頭に置いたプロセス産業におけるAI駆動制御の基盤を確立した。