[논문 리뷰] Deep reinforcement learning for process design: Review and perspective

Qinghe Gao, Artur M. Schweidtmann|arXiv (Cornell University)|2023. 08. 15.

Process Optimization and IntegrationEngineering인용 수 3

한 줄 요약

이 논문은 화학공학 분야의 지속 가능한 개념적 공정 설계를 위한 딥 강화학습(DRL)을 검토하며, 공정 시뮬레이터와의 상호작용을 통해 순차적이고 목표 지향적인 공정 구조 설계를 가능하게 하는 슈퍼스트럭처 없는 접근법을 제안한다. 정보 표현, 에이전트 아키텍처, 보상 설계의 핵심 과제를 규명하고, 제약 조건 통합, 다중 정밀도 모델, 다목적 최적화, 분자 설계 및 공정 제어 통합을 위한 향후 방향을 제시한다.

ABSTRACT

The transformation towards renewable energy and feedstock supply in the chemical industry requires new conceptual process design approaches. Recently, breakthroughs in artificial intelligence offer opportunities to accelerate this transition. Specifically, deep reinforcement learning, a subclass of machine learning, has shown the potential to solve complex decision-making problems and aid sustainable process design. We survey state-of-the-art research in reinforcement learning for process design through three major elements: (i) information representation, (ii) agent architecture, and (iii) environment and reward. Moreover, we discuss perspectives on underlying challenges and promising future works to unfold the full potential of reinforcement learning for process design in chemical engineering.

연구 동기 및 목표

• 화학공학 분야의 개념적 공정 설계에 응용된 최신 딥 강화학습(DRL) 기법을 조사하기 위해.
• DRL을 통한 공정 설계에서 정보 표현, 에이전트 아키텍처, 환경/보상 설계의 핵심 과제를 규명하기 위해.
• 제약 조건 처리, 다중 정밀도 모델링, 다목적 최적화, 분자 및 공정 제어 설계 통합을 포함한 DRL 프레임워크 향상 방향을 제안하기 위해.
• 자동화되고 효율적이며 최적의 공정 합성 가능성을 부여함으로써 재생 가능 기반 화학 공정으로의 전환을 지원하기 위해.
• 기존 슈퍼스트럭처 최적화 및 히우리스틱 기반 방법의 한계를 데이터 기반, 상호작용 가능한 DRL 프레임워크로 보완하기 위해.

제안 방법

• 상태가 플로우시트 구조, 설계/운영 변수, 열역학적 데이터를 나타내는 마르코프 결정 과정(MDP)으로 공정 설계를 수식화한다.
• 이산 선택(예: 단위 조작 유형, 스트림 선택)과 연속 변수(예: 반응기 길이, 유량)를 조합한 하이브리드 액션 공간을 사용한다.
• 안정적인 고차원 액션 공간 학습을 가능하게 하는 SAC(Soft Actor-Critic)와 같은 액터-크리틱 알고리즘을 정책 학습에 활용한다.
• 공정 시뮬레이터(예: COCO)를 환경으로 통합하여 플로우시트를 시뮬레이션하고 성능 목표에 기반한 수치적 보상을 반환한다.
• 다양한 시뮬레이터 간의 상호운용성을 향상시키기 위해 기존 표준(CAPE-OPEN 및 DEXPI+)을 기반으로 표준화된 시뮬레이션 인터페이스를 제안한다.
• 저정밀도 모델에서 사전 학습하고 고정밀도 시뮬레이터에서 미세조정하는 다중 정밀도 학습 전략을 제안하여 학습 시간을 단축하고 수렴성을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 화학공학 분야의 개념적 공정 설계, 특히 슈퍼스트럭처 없는 방식으로 효과적으로 적용될 수 있는가?
• RQ2 DRL을 통한 공정 설계에서 정보 표현, 에이전트 아키텍처, 보상 함수 설계의 핵심 과제는 무엇인가?
• RQ3 안전성 및 운영 제한과 같은 제약 조건은 DRL 기반 공정 설계 프레임워크에서 어떻게 효과적으로 적용될 수 있는가?
• RQ4 다중 정밀도 공정 모델은 DRL 학습 가속화와 일반화 능력 향상에 어떤 역할을 할 수 있는가?
• RQ5 DRL 프레임워크는 어떻게 확장되어 분자 설계 및 공정 제어를 통합하여 통합적이고 지속 가능한 공정 합성을 가능하게 할 수 있는가?

주요 결과

• DRL은 공정 시뮬레이터와의 상호작용을 통해 최적의 정책을 학습함으로써 수동적인 모든 대안의 열거가 필요 없이 슈퍼스트럭처 없는 순차적 공정 설계를 가능하게 한다.
• 현재 DRL 프레임워크는 기술 준비 수준(TRL) 3–4 수준에 머물러 있어 초기 연구 단계로, 유망한 잠재력은 있으나 일반화 능력은 제한되어 있다.
• 단위 조작 선택, 구조 변경, 변수 설정을 포함한 현실적인 설계 결정을 모델링하기 위해 이산 및 연속 액션을 조합한 하이브리드 액션 공간이 필수적이다.
• 다양한 공정 시뮬레이션 소프트웨어 간의 중복을 줄이고 상호운용성을 향상시키기 위해 CAPE-OPEN 또는 DEXPI+ 기반 표준화된 시뮬레이션 인터페이스가 필요하다.
• 저정밀도 모델에서 사전 학습하고 고정밀도 모델에서 미세조정하는 다중 정밀도 학습 전략은 학습 시간을 크게 단축시키고 수렴성을 향상시킬 수 있다.
• 지속 가능하고 견고한 공정 설계를 위해 향후 다목적 보상 통합, 제약 조건 고려의 크리틱, 분자 및 공정의 공동 설계가 필수적이다.