[논문 리뷰] Constrained Model-Free Reinforcement Learning for Process Optimization

Elton Pan, Panagiotis Petsagkourakis외 3명|arXiv (Cornell University)|2020. 11. 16.

Advanced Control Systems Optimization참고 문헌 57인용 수 5

한 줄 요약

이 논문은 Broyden의 방법을 통해 조정되는 자가 조정 백오프를 사용하여 확률적 과정 제어에서 연합 차원 확률 제약 조건을 고확률로 만족시키는 오라클 지원 제약 있는 Q-학습 알고리즘을 제안한다. 이 방법은 99% 확률로 제약 조건을 준수함으로써 비선형, 확률적 시스템에서 비선형 모델 예측 제어(NMPC)보다 제약 조건 처리 능력에서 뛰어나며, 실시간 추론 속도도 유지하여 안전이 핵심인 산업 응용 분야에 적합하다.

ABSTRACT

Reinforcement learning (RL) is a control approach that can handle nonlinear stochastic optimal control problems. However, despite the promise exhibited, RL has yet to see marked translation to industrial practice primarily due to its inability to satisfy state constraints. In this work we aim to address this challenge. We propose an 'oracle'-assisted constrained Q-learning algorithm that guarantees the satisfaction of joint chance constraints with a high probability, which is crucial for safety critical tasks. To achieve this, constraint tightening (backoffs) are introduced and adjusted using Broyden's method, hence making them self-tuned. This results in a general methodology that can be imbued into approximate dynamic programming-based algorithms to ensure constraint satisfaction with high probability. Finally, we present case studies that analyze the performance of the proposed approach and compare this algorithm with model predictive control (MPC). The favorable performance of this algorithm signifies a step toward the incorporation of RL into real world optimization and control of engineering systems, where constraints are essential in ensuring safety.

연구 동기 및 목표

• 모델 프리 강화 학습이 산업 공정 최적화에서 제약 조건 만족에 실패하는 문제를 해결하기 위해.
• 비선형, 확률적 시스템에서 연합 차원 확률 제약 조건이 고확률로 만족되도록 보장하는 방법을 개발하기 위해.
• 정확한 공정 모델에 대한 의존도를 줄이기 위해 데이터 기반, 모델 프리 제어를 안전 보장과 함께 가능하게 하기 위해.
• 제약 조건을 기대값으로만 만족시키는 NMPC는 확률적 불확실성 하에서 실패하므로 이를 개선하기 위해.
• 안전이 핵심인 화학 및 생화학 공정에 실용적으로 적용 가능한 안정적이고 제약 인식 학습 기반의 RL 도입을 가능하게 하기 위해.

제안 방법

• 제약 조건 강화를 위해 백오프를 통한 타당 제어 공간 제한을 포함하는 오라클 지원 Q-학습 프레임워크를 도입한다.
• 백오프 조정을 위한 루트 찾기 문제를 해결하기 위해 Broyden의 방법을 적용하여 원하는 제약 조건 만족 확률을 확보한다.
• 시스템 모델이 없을 경우 표본 효율성 향상과 학습 안정화를 위해 경험 재생을 사용한다.
• 관측된 제약 위반에 기반해 백오프를 자가 조정하는 메커니즘을 도입하여 낙관주의를 최소화한다.
• 시스템 동역학이나 확률 분포에 대한 명시적 지식 없이 데이터에서 직접 학습하는 정책을 구현한다.
• 온라인에서의 계산을 오프라인으로 이관함으로써 제약 조건 만족을 고확률로 보장하고, 실시간 추론 속도를 빠르게 한다.

Figure 1: The landscape of model free reinforcement learning (RL). Model free RL can be broadly constituted by policy optimization and action-value methods with the intersection of the two characterised by actor-critic methods. The figure does not exhaustively detail the different algorithms, but ra

실험 결과

연구 질문

• RQ1 모델 프리 강화 학습이 확률적, 비선형 공정 시스템에서 상태 제약 조건에 대해 강건하게 작동할 수 있는가?
• RQ2 시스템 통계에 대한 사전 지식 없이도 고확률 제약 조건 만족을 달성하기 위해 백오프를 자동으로 조정할 수 있는가?
• RQ3 데이터 기반 제어에서 제약 조건 만족 신뢰도와 목적 성능 간의 트레이드오프는 무엇인가?
• RQ4 제약 위반 확률과 계산 효율성 측면에서 제안된 방법은 NMPC와 어떻게 비교되는가?
• RQ5 안전과 제약 조건 준수가 핵심인 실제 산업 공정에 이 방법을 적용할 수 있는가?

주요 결과

• 사례 연구 2에서 제안된 오라클 Q-학습과 백오프는 NMPC의 66%에서 비교해 제약 위반 확률을 9%로 감소시켰다.
• 사례 연구 1에서는 99%의 제약 조건 만족 확률을 달성하여 NMPC의 66% 위반률에 비해 뚜렷이 뛰어났다.
• 알고리즘은 오직 9%의 위반 확률로 532의 목적값을 달성하여 안전성과 성능 간의 유리한 트레이드오프를 보였다.
• 온라인 추론 시간은 제어 동작당 0.03초로, NMPC의 0.4초보다 훨씬 빠르며, 이는 오프라인 학습 덕분이었다.
• Broyden의 방법을 사용함으로써 낙관주의를 최소화하면서도 고확률 제약 조건 만족을 보장하는 자가 조정 백오프를 실현하였다.
• 이 방법은 NMPC가 확률적 제약 위반으로 실패한 경우에도 상태 제약과 안전 제약을 모두 성공적으로 처리하였다.

Figure 2: Schematic representation of RL for chemical process optimization (Adapted from [ 37 ] ).