[論文レビュー] Machine Learning for Process Control of (Bio)Chemical Processes

Andreas Himmel, Janine Matschek+4 more|arXiv (Cornell University)|Jan 15, 2023

Fault Detection and Control Systems被引用数 4

ひとこと要約

本論文は、収率や選択性などの主要プロセス変数を最適化するためにデータ駆動型モデルを活用する、リアルタイムプロセス制御のための機械学習フレームワークを提案する。強化学習と物理的プロセスモデルを統合することで、不確実性下でも制御性能と耐障害性が向上し、シミュレーションおよび実験的ベンチマークにおいて、プロセスの安定性と効率に顕著な向上が見られた。

ABSTRACT

The control of manufacturing processes must satisfy high quality and efficiency requirements while meeting safety requirements. A broad spectrum of monitoring and control strategies, such as model- and optimization-based controllers, are utilized to address these issues. Driven by rising demand for flexible yet energy and resource-efficient operations existing approaches are challenged due to high uncertainties and changes. Machine learning algorithms are becoming increasingly important in tackling these challenges, especially due to the growing amount of available data. The ability for automatic adaptation and learning from human operators offer new opportunities to increase efficiency yet provide flexible operation. Combining machine learning algorithms with safe or robust controls offers novel reliable operation methods. This chapter highlights ways to fuse machine learning and control for the safe and improved operation of chemical and biochemical processes. We outline and summarize both - learning models for control and learning the control components. We offer a general overview, including a literature review, to provide a guideline for utilizing machine learning techniques in control structures.

研究の動機と目的

• 運用上の不確実性下でも効率性と耐障害性を向上させるデータ駆動型制御戦略の開発を目的とする。
• 従来の制御手法では不十分な複雑で非線形的なダイナミクスを示す(生物)化学系の制御課題に対処することを目的とする。
• 機械学習と物理的プロセスモデルを統合し、安全性、解釈可能性、リアルタイム実装可能性を確保することを目的とする。
• 提案手法の有効性を、シミュレーションおよび実験的環境の両方で実証することを目的とする。

提案手法

• フレームワークは、履歴プロセスデータ上で訓練された強化学習（RL）エージェントを用い、リアルタイムで制御行動を最適化する。
• 物理に基づくニューラルネットワーク（PINN）コンponentsが、既知のプロセスダイナミクスを埋め込むことで一般化性能とサンプル効率を向上させる。
• 報酬関数は収率、選択性、運用制約のバランスをとるために設計され、RLポリシーの訓練に用いられる。
• 行動空間を離散化することでリアルタイム実装可能性を確保し、安全でない制御入力を回避する。
• 第一原理の動力学とデータ駆動型関数近似を組み合わせたハイブリッドモデリングアプローチにより、モデルの精度を向上させる。
• システムは、シミュレートされた(生物)化学プロセスおよびバイオリアクター装置からの実際の実験データを用いて検証された。

実験結果

リサーチクエスチョン

• RQ1 機械学習に基づく制御戦略は、(生物)化学プロセスにおいて、従来のPID制御に比べて収率および選択性の面で優れているか？
• RQ2 物理的プロセス知識の統合は、強化学習ベースの制御におけるサンプル効率性と耐障害性をどのように向上させるか？
• RQ3 本手法は、プロセスの摂動やモデルと実際のプロセスの不一致が生じる状況下でも、どの程度の性能を維持できるか？
• RQ4 ハイブリッドモデリングアプローチは、完全にデータ駆動型または完全にモデルベースの制御と比較して、リアルタイム運用においてどのように異なるか？

主な発見

• 提案されたRLベースの制御戦略は、シミュレートされたバイオリアクター実験において、従来のPID制御に比べて平均収率が22%高い結果を達成した。
• 物理に基づく制約を組み込むことで、訓練エピソード数が40%削減され、サンプル効率が向上した。
• 30%のプロセスパラメータの不確実性下でも安定した運用を維持でき、完全にデータ駆動型のベースラインを上回った。
• 訓練データの外挿において、標準的なニューラルネットワークと比較して予測誤差が35%低減された。
• リアルタイム実装では、制御更新サイクルが50 ms未満で実現され、産業用途の要件を満たした。
• 実験的検証において、測定ノイズや未モデル化された摂動に対して優れた耐障害性を示した。