[論文レビュー] Emulation of physical processes with Emukit

Andrei Paleyes, Mark Pullin+4 more|arXiv (Cornell University)|Oct 25, 2021

Advanced Multi-Objective Optimization Algorithms参考文献 20被引用数 56

ひとこと要約

Emukit は、エミュレーション、不確実性の定量化、意思決定を統合する高度に適応可能な Python ツールキットであり、ベイズ最適化、実験設計などのためにユーザー提供のモデルとバックエンドを利用できる。

ABSTRACT

Decision making in uncertain scenarios is an ubiquitous challenge in real world systems. Tools to deal with this challenge include simulations to gather information and statistical emulation to quantify uncertainty. The machine learning community has developed a number of methods to facilitate decision making, but so far they are scattered in multiple different toolkits, and generally rely on a fixed backend. In this paper, we present Emukit, a highly adaptable Python toolkit for enriching decision making under uncertainty. Emukit allows users to: (i) use state of the art methods including Bayesian optimization, multi-fidelity emulation, experimental design, Bayesian quadrature and sensitivity analysis; (ii) easily prototype new decision making methods for new problems. Emukit is agnostic to the underlying modeling framework and enables users to use their own custom models. We show how Emukit can be used on three exemplary case studies.

研究の動機と目的

• 不確実な意思決定の文脈において、遅くて決定論的なシミュレータを置換または補完するための統計的エミュレーションの活用を動機づける。
• 意思決定手法の迅速なプロトタイピングと公正なベンチマークを可能にする、柔軟でバックエンドに依存しないツールキットを提供する。
• さまざまな適用領域（例：最適化、実験設計、ベイジアン積分）において、代理モデルと意思決定プロセスを結ぶモジュール式フレームワークを提供する。
• 現実世界の物理的プロセスモデリングにおいて、ケーススタディを通じて Emukit が不確実性を意識した意思決定をどのように促進するかを示す。

提案手法

• ベイズ最適化、ベイズ積分、実験設計、感度分析の共通構造を捉える抽象的な意思決定ループを定義する。
• ユーザーがカスタムモデルをラップし、Emukit の意思決定手順に組み込むことができる、モジュール式でバックエンド非依存のアーキテクチャを実装する。
• 固定バックエンドを必要とせず、代理モデルと意思決定プロセスを接続するインターフェースを提供する（例：NumPy、GPy、TensorFlow、PyTorch）。
• 次の入力を選択し、観測を収集し、収束または停止基準が満たされるまでエミュレータを更新する、反復的な外部ループワークフローをサポートする。
• 新しい手法のプロトタイピングとベンチマークにおける柔軟性と使いやすさを示すため、実践的なケーススタディでこのアプローチを示す。

実験結果

リサーチクエスチョン

• RQ1 モデル非依存型ツールキットは、不確実な設定におけるエミュレーションと意思決定の統合をどのように合理化できるか？
• RQ2 Emukit は単一の一貫したワークフロー内で、複数の意思決定問題（最適化、積分、実験設計）をサポートできるか？
• RQ3 ケーススタディは、カスタムモデルとバックエンドを使用する際の実用的な効率と柔軟性を示しているか？
• RQ4 モジュラーでコンポーネントベースの設計は、意思決定手法のベンチマークと拡張にどのような利点をもたらすか？

主な発見

• Emukit は、ユーザー定義モデルを標準の意思決定ループにラッピングすることで、効率的で不確実性を意識した意思決定を実現する。
• このツールキットは、流行病モデリング、量子共振器設計、音楽シンセサイザーのリバースエンジニアリングなど、さまざまな領域での成功した適用を示している。
• Emukit のバックエンド非依存設計は、交換可能なコンポーネント（モデル、サンプラー、オプティマイザー）を許すことで、公正なベンチマークと迅速なプロトタイピングを促進する。
• ケーススタディは、固定バックエンドワークフローと比較して、計算コストを削減し、柔軟な実験を可能にすることを示している。