[논문 리뷰] Deep Gaussian Process-based Multi-fidelity Bayesian Optimization for Simulated Chemical Reactors

Tom V. Savage, Nausheen Basha외 2명|arXiv (Cornell University)|2022. 10. 31.

Advanced Multi-Objective Optimization Algorithms인용 수 7

한 줄 요약

이 논문은 공진동 파이프 반응기의 플러그 플로우 성능을 향상시키기 위해 효율적으로 기하학적 구조를 최적화하기 위해 딥 가우시안 프로세스(DGP) 기반의 다중 정밀도 베이지안 최적화 프레임워크를 제안한다. 다섯 개의 이산적 메시 정밀도 수준을 활용하고 불확실성 인식 기반의 정밀도 선택 기법을 적용함으로써, 계산 비용을 줄이면서도 실험 데이터와 검증된 고정밀도 해를 달성한다.

ABSTRACT

New manufacturing techniques such as 3D printing have recently enabled the creation of previously infeasible chemical reactor designs. Optimizing the geometry of the next generation of chemical reactors is important to understand the underlying physics and to ensure reactor feasibility in the real world. This optimization problem is computationally expensive, nonlinear, and derivative-free making it challenging to solve. In this work, we apply deep Gaussian processes (DGPs) to model multi-fidelity coiled-tube reactor simulations in a Bayesian optimization setting. By applying a multi-fidelity Bayesian optimization method, the search space of reactor geometries is explored through an amalgam of different fidelity simulations which are chosen based on prediction uncertainty and simulation cost, maximizing the use of computational budget. The use of DGPs provides an end-to-end model for five discrete mesh fidelities, enabling less computational effort to gain good solutions during optimization. The accuracy of simulations for these five fidelities is determined against experimental data obtained from a 3D printed reactor configuration, providing insights into appropriate hyper-parameters. We hope this work provides interesting insight into the practical use of DGP-based multi-fidelity Bayesian optimization for engineering discovery.

연구 동기 및 목표

• 플러그 플로우 거동 향상을 위한 공진동 파이프 반응기 기하학적 설계에서 고비용이며 도함수를 요구하지 않는 최적화 문제를 해결하기 위해.
• 베이지안 최적화 프레임워크 내에서 다수의 시뮬레이션 정밀도 수준을 통합함으로써 CFD 기반 반응기 최적화에서 계산 비용을 줄이기 위해.
• 실험 데이터와의 정밀도를 검증함으로써 다섯 개의 이산적 메시 정밀도 수준의 정확도를 확보하고 신뢰할 수 있는 불확실성 정량화를 위한 것이며.
• 딥 가우시안 프로세스를 활용한 하이퍼파rameter 효율적인 다중 정밀도 베이지안 최적화 알고리즘을 개발하기 위해.
• 향후 펄스 플로우 반응기 개발을 위한 물리적 설계 지침을 제공하기 위해 최적화된 기하학적 구조 기반의 실질적인 물리적 통찰을 도출하기 위해.

제안 방법

• 이 방법은 다섯 개의 이산적 메시 정밀도 수준(축방향 및 반경 방향 해상도 기반)과 그에 따른 플러그 플로우 특성 수치 N 사이의 관계를 모델링하기 위해 딥 가우시안 프로세스(DGPs)를 활용한다.
• MF-GP-UCB에 영감을 받은 수정된 다중 정밀도 베이지안 최적화 알고리즘이 제안되며, 이는 예측 불확실성과 시뮬레이션 비용을 기반으로 다음 설계 점과 최적의 정밀도 수준을 동시에 선택한다.
• 정밀도 선택은 비용 가중 수익 함수에 의해 이끌린다: $ t^* = \arg\max_t \{ \gamma_t \beta^{1/2} \sigma_t(x^*) \} $, 여기서 $ \gamma_t = \max(\tau)/\tau_t $ 이고, $ \tau_t $ 는 정밀도 $ t $ 에서의 평균 시뮬레이션 시간이다.
• DGP 모델은 정밀도 간 전반적인 불확실성 전파를 가능하게 하여, 불확실성이 높고 계산 비용이 낮을 경우 저정밀도 평가를 우선시할 수 있도록 한다.
• 초기 DGP 학습은 모든 정밀도 수준에서의 시뮬레이션을 필요로 하며, 이는 최적화 과정에서의 빠른 수렴을 위해 감수해야 할 조건이다.
• 알고리즘은 표준 UCB 베이지안 최적화를 초월해 추가 하이퍼파rameter가 없도록 설계되어 있어, 사전 지식이 제한된 환경에서도 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 딥 가우시안 프로세스는 다양한 메시 해상도를 가진 공진동 파이프 반응기의 다중 정밀도 CFD 시뮬레이션을 효과적으로 모델링할 수 있는가?
• RQ2 불확실성 기반 정밀도 선택을 통한 다중 정밀도 통합이 최적화 효율성과 해의 정확도를 어떻게 향상시키는가?
• RQ3 사전 지식이 없는 공학 설계 문제에 대해 다중 정밀도 베이지안 최적화에서 최적의 이산 정밀도 수준 수는 얼마인가?
• RQ4 저정밀도 시뮬레이션은 정확도를 훼손하지 않고 고성능 반응기 기하학적 구조를 식별하는 데 얼마나 기여하는가?
• RQ5 최적화된 반응기 기하학적 구조에서 도출된 물리적 통찰은 향후 펄스 플로우 공진동 파이프 반응기 설계를 어떻게 안내할 수 있는가?

주요 결과

• 다섯 개의 이산적 메시 정밀도 수준은 플러그 플로우 특성 수치 N 예측 정확도가 점차 향상되었으며, 고정밀도 수준은 실험 데이터와 밀접하게 일치하였다.
• DGP 기반의 다중 정밀도 베이지안 최적화 프레임워크는 큰 코ils 반경과 낮은 피치를 가진 최적의 반응기 기하학적 구조를 성공적으로 식별하여 플러그 플로우 성능 향상을 이끌었다.
• 불확실성이 높고 비용이 낮을 경우 저정밀도 시뮬레이션을 동적으로 선택함으로써 상당한 계산 비용 절감 효과를 달성하였으며, 전체 평가 시간이 감소하였다.
• 저자들은 실제로는 더 많은 수준이 존재하더라도 2~3개의 정밀도 수준만 사용하는 것이 바람직하다고 권장하며, 이는 과도한 하이퍼파rameter 부담과 수렴 속도 저하를 방지하기 위함이다.
• 알고리즘은 표준 UCB를 초월한 추가 하이퍼파arameter 없이도 강건한 성능을 보였으며, 사전 지식이 제한된 실세계 공학 문제에 적합하다는 것을 입증하였다.
• 실험 데이터와의 검증 결과, 최고 정밀도 수준의 시뮬레이션이 진짜 플러그 플로우 거동을 잘 근사함을 확인하였으며, 정확한 설계 최적화를 위한 다중 정밀도 모델링의 유용성을 뒷받침한다.