[논문 리뷰] Synthesizing Chemical Plant Operation Procedures using Knowledge, Dynamic Simulation and Deep Reinforcement Learning

Shumpei Kubosawa, Takashi Onishi외 1명|arXiv (Cornell University)|2019. 03. 06.

Fault Detection and Control Systems참고 문헌 7인용 수 4

한 줄 요약

이 논문은 동적 시뮬레이션, 정성적 지식, 그리고 딥 강화학습(PPO)을 통합하여 최적의 화학공장 운영 절차를 합성하는 AI 시스템을 제안한다. 이 시스템은 실행 가능하고 설명 가능한 절차를 생성하여 고장 복구 속도를 높이며, VAM 공장 시뮬레이션에서 표준 PID 제어 대비 약 30% 빠른 복구 시간을 보였다.

ABSTRACT

Chemical plants are complex and dynamical systems consisting of many components for manipulation and sensing, whose state transitions depend on various factors such as time, disturbance, and operation procedures. For the purpose of supporting human operators of chemical plants, we are developing an AI system that can semi-automatically synthesize operation procedures for efficient and stable operation. Our system can provide not only appropriate operation procedures but also reasons why the procedures are considered to be valid. This is achieved by integrating automated reasoning and deep reinforcement learning technologies with a chemical plant simulator and external knowledge. Our preliminary experimental results demonstrate that it can synthesize a procedure that achieves a much faster recovery from a malfunction compared to standard PID control.

연구 동기 및 목표

• 일본과 같이 고령화 사회에서 늘어나는 숙련된 화학공장 운전사의 부족 문제를 해결하기 위해 운영 절차 합성에 대한 AI 보조 시스템을 개발한다.
• 기존의 모델 예측 제어(MPC)와 정성적 계획의 한계를 극복하기 위해 연속적이고 정량적인 제어 절차 생성을 가능하게 한다.
• 효과적인 운영 절차를 제공할 뿐 아니라, 그 타당성에 대한 인간이 이해할 수 있는 설명을 제공하여 운전사의 신뢰를 높인다.
• 동적 시뮬레이션과 딥 강화학습을 통한 엔드 투 엔드 학습을 통해 공장 고장을 신속하게 복구할 수 있도록 한다.
• 외부 지식과 시뮬레이션 모델을 통합하여 복잡한 화학공장에서 가능한 제어 조치의 광범위한 검색 공간을 제약한다.

제안 방법

• 실시간 공장 행동을 표현하기 위해 비닐 아세트산 모노머(VAM) 공장의 정량적 동적 시뮬레이션 모델을 사용한다.
• 연속적인 상태 공간과 행동 공간에서 최적의 제어 정책을 학습하기 위해 Proximal Policy Optimization(PPO)를 딥 강화학습 알고리즘으로 적용한다.
• 공장 특화 지식(예: 매뉴얼과 P&IDs에서 제공되는 정보)을 통합하여 에이전트가 유망하고 실행 가능한 운영 절차로 향하도록 이끈다.
• 고장 발생 부위 주변의 실시간 센서 읽기들(예: 증기기압, 공급 유량)을 7차원 실수 벡터로 상태를 표현한다.
• 보상 함수를 max(0, 1 - 50 × |sₜ - σ|)로 정의하여, sₜ는 시간 t에서의 센서 값이고 σ는 정상 상태 값임을 나타내어 안정 상태 운영으로의 수렴을 장려한다.
• 매 1분마다 행동을 취하고 누적 보상을 최적화하는 방식으로, 30분 분량의 시뮬레이션 에피소드를 여러 차례 반복하여 에이전트를 훈련시킨다.

실험 결과

연구 질문

• RQ1 딥 강화학습과 동적 시뮬레이션을 활용해 AI 시스템이 화학공장에 효과적이고 정량적인 운영 절차를 합성할 수 있는가?
• RQ2 학습된 절차의 성능은 공장 고장 복구 시 표준 PID 제어 대비 어떻게 비교되는가?
• RQ3 이 시스템은 램프 형태의 비정상적인 갑작스러운 변화와 같은 복잡한 비단계적 교란에 일반화 가능한가?
• RQ4 이 시스템은 생성된 절차에 대해 설명 가능하고 인간이 이해할 수 있는 정당화를 어느 정도 제공할 수 있는가?
• RQ5 분야 특화 지식을 통합하면 절차 합성에서 샘플 효율성과 수렴 속도가 향상되는가?

주요 결과

• PPO 기반 에이전트는 훈련 기간 동안 표준 PID 제어보다 유의미하게 높은 누적 보상을 확보하여 시스템 안정화 성능이 뛰어나다는 것을 입증했다.
• 간단한 고장 시나리오(공급 압력 120%로 급격한 상승)에서 제안된 절차는 몇 분 내로 안정된 운영 상태에 도달했지만, PID 제어는 30분 이내로 안정 상태에 도달하지 못했다.
• 이 시스템은 약 30% 빠른 복구 성능을 보였으며, 증기기 압력이 불안정 상태에서 정상 수준으로 안정화되는 데 걸리는 시간을 줄였다.
• 랜덤화된 램프 형태의 교란(0~30분 동안 압력 90~120%로 점진적 상승)이 포함된 변수 고장 시나리오에서, 에이전트의 누적 보상은 에피소드가 진행되면서 지속적으로 증가하여 강력한 학습 능력을 입증했다.
• 에이전트는 비단계적 변화로 인해 미분 가능 MPC 방법에 적합하지 않은 복잡한 동적 교란에 대해서도 효과적인 절차를 학습했다.
• 수치적 제어 값을 포함한 설명 가능한 절차를 생성하여 인간 운전사가 제안된 조치를 이해하고 검증할 수 있도록 했다.