[論文レビュー] Deep Probabilistic Surrogate Networks for Universal Simulator Approximation

Atılım Güneş Baydin|arXiv (Cornell University)|Jan 1, 2020

Model Reduction and Neural Networks参考文献 37被引用数 6

ひとこと要約

本論文は、構造的意味を保持しつつ、解釈可能で高速かつ正確な確率的シミュレータのニューラル近似を学習する、深層確率的サーヴィエイトネットワーク（DPSN）を提案する。商用複合材料の硬化シミュレータをサーヴィエイトに置き換えることで、推論のオーダーを10倍に加速し、表面測定からの潜在的温度プロファイルの回復により、リアルタイムで非侵襲的な品質評価を可能にする。

ABSTRACT

We present a framework for automatically structuring and training fast, approximate, deep neural surrogates of existing stochastic simulators. Unlike traditional approaches to surrogate modeling, our surrogates retain the interpretable structure of the reference simulators. The particular way we achieve this allows us to replace the reference simulator with the surrogate when undertaking amortized inference in the probabilistic programming sense. The fidelity and speed of our surrogates allow for not only faster forward stochastic simulation but also for accurate and substantially faster inference. We support these claims via experiments that involve a commercial composite-materials curing simulator. Employing our surrogate modeling technique makes inference an order of magnitude faster, opening up the possibility of doing simulator-based, non-invasive, just-in-time parts quality testing; in this case inferring safety-critical latent internal temperature profiles of composite materials undergoing curing from surface temperature profile measurements.

研究の動機と目的

• 確率的シミュレータの解釈可能な構造を保持しつつ、高速な推論を可能にするサーヴィエイトモデリングフレームワークを開発すること。
• 確率的プログラミングワークロードにおける確率的シミュレータの計算ボトル neck を解消するために、それらを深層ニューラルサーヴィエイトに置き換えること。
• 特に複合材料の硬化のような安全が重要な応用分野において、複雑なシミュレータベースのモデルにおけるアモルタイズド推論を可能にすること。
• 産業プロセスにおける非侵襲的で即時の品質テストの実現可能性を実証すること。

提案手法

• フレームワークは、参照シミュレータの構造的および確率的挙動を模倣する深層ニューラルネットワークを構築し、その解釈可能性を維持する。
• 入力条件から出力分布へのマッピングを可能にする微分可能アーキテクチャを採用し、シミュレータの確率的ダイナミクスを模倣する。
• 元のシミュレータからのデータを用いてエンドツーエンドで訓練することで、シミュレータの条件付き確率構造を保持する。
• 観測データに条件づけることで、アモルタイズド推論が可能となり、効率的な事後分布近似が可能になる。
• 同じサーヴィエイトネットワークを用いて、前方シミュレーションと事後推論の両方をサポートする。
• 訓練プロセスにより、サーヴィエイトの予測分布が元のシミュレータのものと密接に一致するように保証する。

実験結果

リサーチクエスチョン

• RQ1 複雑な確率的シミュレータの構造的および確率的意味を保持する深層ニューラルネットワークサーヴィエイトを訓練可能か？
• RQ2 このようなサーヴィエイトは、確率的プログラミングワークロードにおける推論をどの程度高速化できるか？
• RQ3 限られた観測データから、潜在的内部状態のリアルタイムで非侵襲的な推論が可能か？
• RQ4 安全が重要な推論タスクにおいて、サーヴィエイトの正確さは元のシミュレータと比べてどの程度か？
• RQ5 産業プロセスにおける即時の品質テストに、サーヴィエイトは実際に有効に使えるか？

主な発見

• サーヴィエイトモデルは、元のシミュレータと比較して推論を10倍高速化し、リアルタイム分析を可能にする。
• サーヴィエイトは、元のシミュレータの出力分布に高い忠実度を保ち、信頼性の高い推論を保証する。
• 表面温度測定からの複合材料の潜在的内部温度プロファイルの正確な回復が達成された。
• 物理的プローブを用いずに、安全が重要な内部状態を推論することで、非侵襲的で即時の品質テストが可能になる。
• サーヴィエイトは、高速な前方シミュレーションと効率的な事後推論の両方をサポートしており、確率的プログラミングパイプラインに適している。
• フレームワークは、複合材料の硬化を含む実世界の産業応用において実用的であることが実証された。