[논문 리뷰] Emulation of physical processes with Emukit

Andrei Paleyes, Mark Pullin외 4명|arXiv (Cornell University)|2021. 10. 25.

Advanced Multi-Objective Optimization Algorithms참고 문헌 20인용 수 56

한 줄 요약

Emukit은 에뮬레이션, 불확실성 정량화, 의사결정을 통합하는 매우 적응력이 높은 Python 도구상자이며, 베이지안 최적화, 실험 설계 등용 사용자가 제공한 모델과 백엔드를 허용합니다.

ABSTRACT

Decision making in uncertain scenarios is an ubiquitous challenge in real world systems. Tools to deal with this challenge include simulations to gather information and statistical emulation to quantify uncertainty. The machine learning community has developed a number of methods to facilitate decision making, but so far they are scattered in multiple different toolkits, and generally rely on a fixed backend. In this paper, we present Emukit, a highly adaptable Python toolkit for enriching decision making under uncertainty. Emukit allows users to: (i) use state of the art methods including Bayesian optimization, multi-fidelity emulation, experimental design, Bayesian quadrature and sensitivity analysis; (ii) easily prototype new decision making methods for new problems. Emukit is agnostic to the underlying modeling framework and enables users to use their own custom models. We show how Emukit can be used on three exemplary case studies.

연구 동기 및 목표

• 불확실한 의사결정 맥락에서 느리고 결정론적인 시뮬레이터를 대체하거나 보완하기 위해 통계적 에뮬레이션의 사용을 촉구한다.
• 의사결정 방법의 빠른 프로토타이핑과 공정한 벤치마킹을 가능하게 하는 유연하고 백엔드에 구애받지 않는 도구상자를 제공한다.
• 다양한 응용 분야(예: 최적화, 실험 설계, 베이지안 적분)에서 대리모델과 의사결정 프로세스를 연계하는 모듈식 프레임워크를 제공한다.
• 실세계 물리적 공정 모델링에서 불확실성 인식 의사결정을 Emukit이 어떻게 촉진하는지 사례 연구를 통해 보여준다.

제안 방법

• 베이지안 최적화, 베이지안 적분, 실험 설계, 민감도 분석의 공통 구조를 포착하는 추상적 의사결정 루프를 정의한다.
• 사용자가 커스텀 모델을 래핑하고 Emukit의 의사결정 절차에 연결할 수 있도록 모듈식의 백엔드 독립적 아키텍처를 구현한다.
• 고정된 백엔드를 요구하지 않고(예: NumPy, GPy, TensorFlow, PyTorch) 대리모델과 의사결정 프로세스를 연결하기 위한 인터페이스를 제공한다.
• 다음 입력을 선택하고 관측치를 수집하며 시뮬레이터를 업데이트하는 외부 루프의 반복 워크플로를 지원하여 수렴 또는 중단 기준이 충족될 때까지 진행한다.
• 새로운 방법의 프로토타이핑과 벤치마킹의 유연성 및 사용 용이성을 보여주기 위해 실용적 사례 연구로 접근을 설명한다.

실험 결과

연구 질문

• RQ1 모델에 구애받지 않는 도구상자가 불확실한 환경에서 에뮬레이션과 의사결정을 통합하는 과정을 어떻게 간소화할 수 있는가?
• RQ2 Emukit가 단일의 일관된 워크플로우 내에서 여러 의사결정 문제(최적화, 적분, 실험 설계)를 지원할 수 있는가?
• RQ3 사례 연구는 커스텀 모델과 백엔드를 사용할 때 실용적 효율성과 유연성을 보여주는가?
• RQ4 모듈식, 구성요소 기반 설계가 벤치마킹 및 의사결정 방법 확장에 어떤 장점을 제공하는가?

주요 결과

• Emukit은 사용자 정의 모델을 표준 의사결정 루프에 래핑함으로써 효율적이고 불확실성 인식 의사결정을 가능하게 한다.
• 도구상자는 전염병 모델링, 양자 공명기 설계, 음악 합성기 역설계 등 다양한 분야에서 성공적으로 적용됨을 보여준다.
• Emukit's의 백엔드 독립적 설계는 상호 교환 가능한 구성요소(모델, 샘플러, 최적화 알고리즘)를 허용하여 공정한 벤치마킹과 빠른 프로토타이핑을 촉진한다.
• 사례 연구는 고정 백엔드 워크플로에 비해 계산 비용을 줄이고 유연한 실험을 가능하게 함을 보여준다.