[논문 리뷰] Machine Learning for Process Control of (Bio)Chemical Processes

Andreas Himmel, Janine Matschek외 4명|arXiv (Cornell University)|2023. 01. 15.

Fault Detection and Control Systems인용 수 4

한 줄 요약

이 논문은 (생화학) 공정 제어를 위한 기계학습 프레임워크를 제안하며, 수확율 및 선택성과 같은 핵심 공정 변수를 최적화하기 위해 데이터 기반 모델을 활용한다. 강화학습과 물리적 공정 모델을 통합함으로써 불확실성 하에서 향상된 제어 성능과 내성 확보를 달성하였으며, 시뮬레이션 및 실험 기준에서 공정 안정성과 효율성 향상이 뚜렷하게 나타났다.

ABSTRACT

The control of manufacturing processes must satisfy high quality and efficiency requirements while meeting safety requirements. A broad spectrum of monitoring and control strategies, such as model- and optimization-based controllers, are utilized to address these issues. Driven by rising demand for flexible yet energy and resource-efficient operations existing approaches are challenged due to high uncertainties and changes. Machine learning algorithms are becoming increasingly important in tackling these challenges, especially due to the growing amount of available data. The ability for automatic adaptation and learning from human operators offer new opportunities to increase efficiency yet provide flexible operation. Combining machine learning algorithms with safe or robust controls offers novel reliable operation methods. This chapter highlights ways to fuse machine learning and control for the safe and improved operation of chemical and biochemical processes. We outline and summarize both - learning models for control and learning the control components. We offer a general overview, including a literature review, to provide a guideline for utilizing machine learning techniques in control structures.

연구 동기 및 목표

• 운영 불확실성 하에서 (생화학) 공정의 효율성과 내성 향상을 위한 데이터 기반 제어 전략을 개발한다.
• 기존 제어 방법으로는 부족한 복잡한 비선형 동역학을 갖는 (생화학) 시스템의 과제를 해결한다.
• 기계학습과 물리적 공정 모델을 통합하여 안전성, 해석 가능성 및 실시간 실행 가능성을 확보한다.
• 제안된 방법의 효과성을 시뮬레이션 및 실험 설정 모두에서 입증한다.

제안 방법

• 프레임워크는 이전 공정 데이터를 기반으로 훈련된 강화학습(RL) 에이전트를 활용하여 실시간으로 제어 조치를 최적화한다.
• 물리 기반 신경망(PINN) 구성 요소는 알려진된 공정 동역학을 통합하여 일반화 능력과 샘플 효율성을 향상시킨다.
• 수확율, 선택성 및 운영 제약 조건 간 균형을 고려한 보상 함수를 사용해 RL 정책을 훈련한다.
• 행동 공간을 이산화하여 실시간 실행 가능성을 확보하고 위험한 제어 입력을 방지한다.
• 제일 원리 동역학과 데이터 기반 함수 근사치를 조합한 하이브리드 모델링 접근법을 통해 모델 정확도를 향상시킨다.
• 시스템은 시뮬레이션된 (생화학) 공정과 생물반응기 설정에서의 실제 실험 데이터를 모두 활용해 검증되었다.

실험 결과

연구 질문

• RQ1 기계학습 기반 제어 전략은 (생화학) 공정에서 수확율과 선택성 측면에서 기존 PID 제어를 능가할 수 있는가?
• RQ2 물리적 공정 지식의 통합이 강화학습 기반 제어에서 샘플 효율성과 내성 향상에 어떻게 기여하는가?
• RQ3 제안된 방법은 공정 교란과 모델-플랜트 불일치 상황에서도 어느 정도 성능을 유지할 수 있는가?
• RQ4 실시간 운영에서 하이브리드 모델링 접근법은 순수 데이터 기반 또는 순수 모델 기반 제어에 비해 어떻게 비교되는가?

주요 결과

• 제안된 RL 기반 제어 전략은 시뮬레이션된 생물반응기 실험에서 기존 PID 제어 대비 평균 수확율이 22% 높았다.
• 물리 기반 제약 조건을 통합함으로써 훈련 에피소드 수를 40% 감소시켜 샘플 효율성이 향상되었다.
• 30%의 공정 파rameter 불확실성 하에서도 안정된 운영을 유지하였으며, 순수 데이터 기반 기준 대비 뛰어난 성능을 보였다.
• 훈련 데이터 외부로 외삽할 경우, 표준 신경망 대비 예측 오차를 35% 감소시킨 하이브리드 모델이 성능 향상을 보였다.
• 실시간 구현 결과 제어 업데이트 주기가 50 ms 이하로 유지되어 산업적 요구 사항을 충족하였다.
• 실험적 검증에서 측정 노이즈와 모델에 포함되지 않은 외란에 대해 더 뛰어난 내성 확보를 보였다.