[논문 리뷰] Flowsheet synthesis through hierarchical reinforcement learning and graph neural networks

Laura Stops, Roel J. Leenhouts외 2명|arXiv (Cornell University)|2022. 07. 25.

Fuel Cells and Related Materials참고 문헌 62인용 수 11

한 줄 요약

이 논문은 화학 공정 플로우시트를 그래프로 표현하고 그래프 신경망(GNNs)을 사용해 상태를 처리하고 결정을 안내함으로써 화학 공정 플로우시트를 합성하는 계층적 강화학습(RL) 에이전트를 제안한다. 이 방법은 이산, 연속, 하이브리드 행동 공간에서 효율적인 학습을 가능하게 하며, 안정적이고 급격한 보상 수렴을 보이며 메틸 아세테이트 생산 사례 연구에서 경제적으로 타당한 플로우시트를 성공적으로 생성한다.

ABSTRACT

Process synthesis experiences a disruptive transformation accelerated by digitization and artificial intelligence. We propose a reinforcement learning algorithm for chemical process design based on a state-of-the-art actor-critic logic. Our proposed algorithm represents chemical processes as graphs and uses graph convolutional neural networks to learn from process graphs. In particular, the graph neural networks are implemented within the agent architecture to process the states and make decisions. Moreover, we implement a hierarchical and hybrid decision-making process to generate flowsheets, where unit operations are placed iteratively as discrete decisions and corresponding design variables are selected as continuous decisions. We demonstrate the potential of our method to design economically viable flowsheets in an illustrative case study comprising equilibrium reactions, azeotropic separation, and recycles. The results show quick learning in discrete, continuous, and hybrid action spaces. Due to the flexible architecture of the proposed reinforcement learning agent, the method is predestined to include large action-state spaces and an interface to process simulators in future research.

연구 동기 및 목표

• 복잡한 다변수 환경에서 화학 공정 합성을 자동화하는 데 도전하는 것.
• 이산(단위 공정 선택)과 연속(설계 변수) 결정을 계층적으로 처리할 수 있는 강화학습 에이전트를 개발하는 것.
• 공정 플로우시트를 그래프로 표현하여 그래프 신경망을 통해 구조적 정보를 활용하는 것.
• 에이전트 아키텍처의 구성 요소를 분리함으로써 확장성 있고 융통성 있는 공정 설계를 가능하게 하는 것.
• 경제적 타당성과 수렴 안정성을 확보한 AI 기반 플로우시트 합성의 가능성을 입증하는 것.

제안 방법

• RL 에이전트는 고수준 결정을 통해 위치와 단위 공정을 선택하고, 저수준 결정을 통해 설계 변수를 선택하는 계층적 아키텍처를 사용한다.
• 플로우시트는 방향성 그래프로 인코딩되며, 노드는 단위 공정을 나타내고, 간선은 물질 흐름을 나타내어 구조적 정보를 캡처할 수 있다.
• 정책 네트워크에 그래프 컬러레이션 신경망(GCNs)을 통합하여 그래프 구조의 상태를 처리하고 행동 선택을 안내한다.
• 행동 공간은 하이브리드이다: 이산 행동은 단위 공정과 배치 위치 선택을 포함하고, 연속 행동은 전환율이나 운영 조건과 같은 설계 변수 설정을 포함한다.
• 에이전트를 훈련하기 위해 프록시 정책 최적화(PPO) 알고리즘을 사용하며, 자본 및 운영 비용 기반으로 경제적 성능을 추정하는 보상 함수를 사용한다.
• 아키텍처는 단위 공정과 설계 변수의 동적 확장을 허용하여 향후 공정 시뮬레이터와의 통합을 지원한다.

실험 결과

연구 질문

• RQ1 계층적 RL 에이전트는 그래프 구조 표현을 활용하여 화학적으로 의미 있고 경제적으로 타당한 공정 플로우시트를 효과적으로 합성할 수 있는가?
• RQ2 강화학습에 그래프 신경망을 통합함으로써 이산 및 연속 결정을 포함한 복잡한 하이브리드 행동 공간에서의 학습은 얼마나 잘 이루어지는가?
• RQ3 제안된 방법은 이산, 연속, 하이브리드 결정 단계에서 보상 학습의 안정적이고 빠른 수렴을 달성할 수 있는가?
• RQ4 그래프 기반 표현은 공정 합성에 필수적인 구조적 및 위상적 정보를 얼마나 잘 유지하는가?
• RQ5 향후 더 큰 공정 시스템과 엄밀한 공정 시뮬레이터와의 통합을 고려할 때, 에이전트 아키텍처의 확장성은 어느 정도인가?

주요 결과

• 제안된 RL 에이전트는 메틸 아세테이트 생산 사례 연구에서 이산, 연속, 하이브리드 행동 공간 전반에 걸쳐 급격하고 안정적인 학습 곡선을 달성하였다.
• 전체 훈련 과정을 거쳐 경제적으로 타당한 플로우시트를 성공적으로 생성하여 AI 기반 공정 합성의 가능성을 입증하였다.
• 그래프 표현은 공정 위상의 효과적인 인코딩을 가능하게 하여, GNN이 구조적 특징에서 의미 있는 상태 표현을 학습할 수 있도록 하였다.
• 계층적 설계 덕분에 결정의 분리와 모듈화가 가능해져 에이전트의 해석 가능성과 확장성 향상에 기여하였다.
• 보상 함수는 추정치에 불과하지만 효과적인 훈련과 수렴을 가능하게 하여, 보상 형상 조정을 통한 향후 개선 가능성을 시사하였다.
• 유연한 아키텍처는 향후 공정 시뮬레이터와의 통합 및 더 큰, 더 복잡한 시스템으로의 확장에 유리하다.