[논문 리뷰] Deep Reinforcement Learning for Process Synthesis

Laurence Illing Midgley|arXiv (Cornell University)|2020. 09. 23.

Process Optimization and Integration참고 문헌 8인용 수 4

한 줄 요약

이 논문은 프로세스 시뮬레이터(COCO 및 ChemSep)와 연동되는 강화학습 환경인 Distillation Gym을 소개한다. 이 환경을 통해 딥 강화학습 에이전트는 다성분 분리 문제에 대해 증류열 설계를 위한 순차적 결정을 내릴 수 있다. Soft Actor-Critic(SAC)을 사용하여 벤젠-톨루엔-프아크실렌 및 수소화물 분리 문제에서 고수확, 고수익 설계를 성공적으로 학습하였다. 이는 공정 합성 문제를 강화학습 과제로 재정의할 수 있음을 보여주며, 보다 넓은 응용을 위한 일반 목적의 툴킷인 화학공학용 Gym을 제안한다.

ABSTRACT

This paper demonstrates the application of reinforcement learning (RL) to process synthesis by presenting Distillation Gym, a set of RL environments in which an RL agent is tasked with designing a distillation train, given a user defined multi-component feed stream. Distillation Gym interfaces with a process simulator (COCO and ChemSep) to simulate the environment. A demonstration of two distillation problem examples are discussed in this paper (a Benzene, Toluene, P-xylene separation problem and a hydrocarbon separation problem), in which a deep RL agent is successfully able to learn within Distillation Gym to produce reasonable designs. Finally, this paper proposes the creation of Chemical Engineering Gym, an all-purpose reinforcement learning software toolkit for chemical engineering process synthesis.

연구 동기 및 목표

• 강화학습이 증류열 설계를 순차적 결정 문제로 재정의함으로써 공정 합성 문제에 효과적으로 적용될 수 있음을 보여주기 위해.
• 프로세스 시뮬레이터(COCO 및 ChemSep)와 연동되는 기능성 강화학습 환경인 Distillation Gym을 개발하여 시뮬레이션 기반 훈련을 가능하게 하기 위해.
• 실제 분리 문제인 벤젠-톨루엔-프아크실렌 및 수소화물 혼합물 문제에 대해 접근법을 검증하여, 에이전트가 수익성 있고 고수확 설계를 학습할 수 있음을 보여주기 위해.
• 증류를 넘어서 다양한 단위 조작 및 공정 구조를 포함하는 일반 목적의 강화학습 툴킷으로서 화학공학용 Gym을 제안하기 위해.
• 기존의 최적화 프레임워크(파rameter 조정)에서 탈피하여 결정 시퀀스 프레임워크(행동 시퀀스로서의 공정 합성)로의 전환을 주장함으로써, 더 넓은 범위의 창의적 설계 탐색이 가능하게 하기 위해.

제안 방법

• 환경는 에이전트가 상태(공급 조성, 조건)를 관찰하고, 조치(증류탑 구성, 분할 비율)를 선택하며, 제품 순도, 수확율, 수익 기반 보상을 받는 마르코프 결정 과정(MDP)으로 구성된다.
• 에이전트는 소프트 액터-크리틱(SAC)을 사용하며, 탐색과 이용의 균형을 확보하기 위해 엔트로피 정규화를 적용한 액터-크리틱 아키텍처를 사용하여 샘플 효율성과 안정성을 향상시킨다.
• 크리틱 네트워크는 타깃 네트워크와 소프트 업데이트를 사용하는 더블 Q-네트워크 구조를 활용하여 훈련 안정성을 높이며, 경험 리플레이 버퍼를 기반으로 벨먼 오차를 최소화한다.
• 액터 네트워크는 재패arameterization 기법을 사용하여 정책 최적화를 미분 가능하게 하여 노이즈가 포함된 행동을 사용한 기반 그래디언트 업데이트를 허용한다.
• 환경는 각 조치 후 프로세스 성능(분리, 에너지, 비용)을 계산하기 위해 COCO 및 ChemSep 시뮬레이터와 통합되어 정확한 상태 전이와 보상 신호를 제공한다.
• 문제 사양은 사용자가 정의하며, 구성 성분의 물성, 공급 스트림 조건, 제품 순도 목표, 시장 가격을 포함하여 다양한 문제 정의가 가능하고, 이는 탄력적이고 일반화 가능한 문제 인스턴스화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 강화학습을 사용하여 증류열 설계를 순차적 결정 문제로 재정의함으로써 공정 합성 문제를 효과적으로 해결할 수 있는가?
• RQ2 사전 최적화나 히우리스틱 규칙 없이도 강화학습 에이전트가 고수확, 고수익 증류 구성 설계를 학습할 수 있는가?
• RQ3 프로세스 시뮬레이터(COCO/ChemSep)와 강화학습 에이전트의 통합이 훈련 중 정확하고 현실적인 성능 평가를 어떻게 가능하게 하는가?
• RQ4 복잡한 다성분 분리에서 강화학습 에이전트가 균형을 이루게 하는 주요 설계 트레이드오프(예: 수확율 대 비용)는 무엇인가?
• RQ5 강화학습 기반 접근법이 증류를 넘어서 다른 단위 조작 및 공정 구조로 일반화될 수 있는가? 이를 위한 확장성 지원을 위한 인프라는 무엇이 필요한가?

주요 결과

• 딥 강화학습 에이전트는 벤젠-톨루엔-프아크실렌(BTX) 분리 문제에 대해 증류열을 성공적으로 설계하였으며, 벤젠 수확율 98.2%, 톨루엔 99.7%, 프아크실렌 99.9% 이상을 달성하였고, 총 수익은 0.45백만 달러였다.
• 수소화물 분리 문제에서는 높은 수확율을 달성하였으며, 프로판 98.9%, 이소부탄 97.3%, 나프타논 91.1%, 이소펜탄 99.6%, 나프타펜탄 97.0%였고, 총 수익은 1,588만 달러였다.
• BTX 문제에 대한 에이전트의 최고 설계는 단일 블록 플로우시트로 자동 생성되었으며, 밸브-증류탑 쌍으로 구성되어 있어 구조적 단순성과 실현 가능성을 보여주었다.
• 여러 훈련 런에 걸쳐 에이전트의 성능이 안정적이었으며, SAC를 사용한 Distillation Gym 환경에서 안정적인 학습 역학을 보였다.
• 결과는 강화학습이 사전 정의된 히우리스틱이나 MINLP 기반 최적화에 의존하지 않고도 비틀린, 수익성 있는 공정 구성 설계를 발견할 수 있음을 검증하였다.
• 저자들은 공정 합성을 매개변수 최적화가 아닌 결정 시퀀스로 재정의함으로써 더 유연하고 창의적인 설계 공간 탐색이 가능해지며, 특히 화학공학용 Gym과 같은 보다 광범위한 툴킷으로 확장할 경우 더욱 두드러진다는 결론을 내렸다.