[論文レビュー] Constrained Model-Free Reinforcement Learning for Process Optimization

Elton Pan, Panagiotis Petsagkourakis+3 more|arXiv (Cornell University)|Nov 16, 2020

Advanced Control Systems Optimization参考文献 57被引用数 5

ひとこと要約

本論文は、Broyden法を用いて調整される自己調整バックオフを用いることで、確率的プロセス制御における連合チャンス制約の高確率満たしを保証する、オラクル支援の制約付きQ学習アルゴリズムを提案する。この手法は99%の確率で制約を遵守することを保証し、非線形モデル予測制御（NMPC）よりも制約処理において優れている一方で、オンライン推論を高速に維持しており、安全を重視する産業応用に適している。

ABSTRACT

Reinforcement learning (RL) is a control approach that can handle nonlinear stochastic optimal control problems. However, despite the promise exhibited, RL has yet to see marked translation to industrial practice primarily due to its inability to satisfy state constraints. In this work we aim to address this challenge. We propose an 'oracle'-assisted constrained Q-learning algorithm that guarantees the satisfaction of joint chance constraints with a high probability, which is crucial for safety critical tasks. To achieve this, constraint tightening (backoffs) are introduced and adjusted using Broyden's method, hence making them self-tuned. This results in a general methodology that can be imbued into approximate dynamic programming-based algorithms to ensure constraint satisfaction with high probability. Finally, we present case studies that analyze the performance of the proposed approach and compare this algorithm with model predictive control (MPC). The favorable performance of this algorithm signifies a step toward the incorporation of RL into real world optimization and control of engineering systems, where constraints are essential in ensuring safety.

研究の動機と目的

• 産業プロセス最適化におけるモデルフリー強化学習の制約満たしの欠如に対処すること。
• 非線形で確率的なシステムにおいて、連合チャンス制約が高確率で満たされることを保証する手法を開発すること。
• プロセスモデルの正確さに依存することを減らし、安全保証付きのデータ駆動型、モデルフリー制御を可能にすること。
• 制約を期待値でのみ満たすNMPCとは異なり、確率的不確実性下で失敗する点を改善すること。
• 安全を重視する化学およびバイオ化学プロセスにおけるRLの実用的導入を可能にする、堅牢で制約に配慮した学習を実現すること。

提案手法

• 制約のきつさをバックオフによる制約の厳密化で制御する、オラクル支援のQ学習フレームワークを導入し、実行可能制御空間を制限する。
• バックオフのチューニングのための根の探索問題を解くためにBroyden法を適用し、所望の制約満たし確率を達成する。
• システムモデルが存在しない状況でのサンプル効率の向上と学習の安定化のため、経験再生を用いる。
• 観測された制約違反に基づいてバックオフを自己調整するメカニズムを採用し、過剰な保守的設計を最小限に抑える。
• システムダイナミクスや確率分布の明示的知識が不要な、データから直接学習するポリシーを実装する。
• オンライン計算をオフラインに移行することで、制約の満たし確率を高め、高速なリアルタイム推論を可能にする。

Figure 1: The landscape of model free reinforcement learning (RL). Model free RL can be broadly constituted by policy optimization and action-value methods with the intersection of the two characterised by actor-critic methods. The figure does not exhaustively detail the different algorithms, but ra

実験結果

リサーチクエスチョン

• RQ1 モデルフリー強化学習を、確率的で非線形なプロセス系における状態制約に対して、どのようにして堅牢にできるか？
• RQ2 システム統計の事前知識がなくとも、高確率制約満たしを達成するためのバックオフを自動的にチューニングする方法は何か？
• RQ3 データ駆動型制御において、制約満たしの信頼性と目的関数性能のトレードオフはどのようなものか？
• RQ4 NMPCと比較して、本手法は制約違反確率および計算効率の点でどのように異なるか？
• RQ5 安全と制約遵守が最重要である実世界の産業プロセスに、本手法を適用可能か？

主な発見

• ケーススタディ2において、提案手法のバックオフ付きオラクルQ学習は、制約違反確率をNMPCの66%から9%にまで低下させた。
• ケーススタディ1では、本手法が99%の制約満たし確率を達成したのに対し、NMPCは66%の違反率を示した。
• 本アルゴリズムは、わずか9%の違反確率で532の目的関数値を達成し、安全性と性能の間で良好なトレードオフを実現した。
• オンライン推論時間は1制御アクションあたり0.03秒であり、NMPCの0.4秒よりも顕著に高速で、これはオフライン学習のおかげである。
• Broyden法の使用により、過剰な保守的設計を最小限に抑えつつ、高確率での制約満たしを実現する自己調整バックオフが可能になった。
• 本手法は、NMPCが確率的制約違反により失敗するような、確率的システムにおける状態制約とセーフティ制約の両方を効果的に処理できた。

Figure 2: Schematic representation of RL for chemical process optimization (Adapted from [ 37 ] ).