[論文レビュー] Error estimation for surrogate models of dynamical systems using machine learning.

Sumeet Trehan, Kevin Carlberg+1 more|arXiv (Cornell University)|Jan 12, 2017

Model Reduction and Neural Networks被引用数 5

ひとこと要約

本論文は、高次元回帰（例：ランダムフォレスト、LASSO）を用いた機械学習フレームワークを提案する。このフレームワークは、安価な誤差指標を時間瞬時の関心対象の誤差にマッピングすることで、パrameterized動的システムにおける補間モデル誤差を予測する。この手法は、局所的回帰モデルを用いることで非線形地下流体シミュレーションにおける低次元モデルの精度を向上させ、リアルタイムでの誤差補正と関心対象の誤差統合に関する統計的モデリングを可能にする。

ABSTRACT

A machine-learning-based framework for modeling the error introduced by surrogate models of parameterized dynamical systems is proposed. The framework entails the use of high-dimensional regression techniques (e.g., random forests, LASSO) to map a large set of inexpensively computed `error indicators' (i.e., features) produced by the surrogate model at a given time instance to a prediction of the surrogate-model error in a quantity of interest (QoI). This eliminates the need for the user to hand-select a small number of informative features. The methodology requires a training set of parameter instances at which the time-dependent surrogate-model error is computed by simulating both the high-fidelity and surrogate models. Using these training data, the method first determines regression-model locality (via classification or clustering), and subsequently constructs a `local' regression model to predict the time-instantaneous error within each identified region of feature space. We consider two uses for the resulting error model: (1) as a correction to the surrogate-model QoI prediction at each time instance, and (2) as a way to statistically model arbitrary functions of the time-dependent surrogate-model error (e.g., time-integrated errors). We apply the proposed framework to model errors in reduced-order models of nonlinear oil--water subsurface flow simulations. The reduced-order models used in this work entail application of trajectory piecewise linearization with proper orthogonal decomposition. When the first use of the method is considered, numerical experiments demonstrate consistent improvement in accuracy in the time-instantaneous QoI prediction relative to the original surrogate model, across a large number of test cases. When the second use is considered, results show that the proposed method provides accurate statistical predictions of the time- and well-averaged errors.

研究の動機と目的

• 補間モデルがパrameterized動的システムに導入する誤差を定量化し補正するという課題に対処すること。
• 有益な特徴量の手動選択を排除するため、多数の安価な誤差指標を用いた高次元回帰を活用して、情報の多い特徴量を自動的に特定すること。
• 特徴空間の異なる領域に適応する局所的回帰モデリング手法を開発し、誤差予測の精度を向上させること。
• 補間モデルの予測値に対するリアルタイム補正と、関心対象の時間統合誤差に関する統計的モデリングを可能にすること。
• 軌道断片線形化法および固有直交分解法を用いて、非線形オイル・ウォーター地下流体シミュレーションの低次元モデルに対して、フレームワークの妥当性を検証すること。

提案手法

• 本フレームワークは、高精度シミュレーションと補間モデルシミュレーションの両方を実行したパrameterインスタンスのトレーニングセットを用い、時間依存の補間モデル誤差を計算する。
• 誤差指標の特徴空間において、局所的領域を特定するための分類またはクラスタリングを実施し、局所的回帰モデリングを可能にする。
• 識別された各領域内で、局所的回帰モデル（例：ランダムフォレスト、LASSO）を構築し、関心対象の時間瞬時の誤差を予測する。
• 本手法は2つの応用をサポートする：(1) 各時間ステップにおける補間モデルのQoI予測値の補正、(2) 時間平均や井戸平均誤差といった時間依存誤差関数の統計的モデリング。
• 誤差指標は各時間インスタンスで安価に計算され、回帰モデルの特徴量として使用される。
• 本手法は、手作業による特徴量選択に依存しないようにし、包括的な誤差指標のセットを用いた高次元回帰により、関連する誤差パターンを自動的に同定する。

実験結果

リサーチクエスチョン

• RQ1 多数の安価な誤差指標を用いた機械学習モデルは、補間モデルの時間瞬時の誤差を効果的に予測できるか？
• RQ2 不均一な特徴空間において、局所的回帰モデリングはグローバルモデルに比べて誤差予測精度をどのように向上させるか？
• RQ3 予測誤差モデルは、多様なテストケースにわたり、補間モデルの予測値をリアルタイムでどの程度効果的に補正できるか？
• RQ4 時間平均および井戸平均誤差といった時間統合誤差の統計的性質を、予測誤差モデルを用いて正確にモデリングできるか？
• RQ5 非線形動的システム、特に地下流体シミュレーションのような複雑なシステムに適用した場合、本手法の頑健性はどの程度か？

主な発見

• 提案手法は、幅広いテストケースにおいて、元の補間モデルに比べ、関心対象の時間瞬時の予測精度を一貫して向上させる。
• クラスタリングまたは分類によって特定された特徴空間の領域に基づく局所的回帰モデルは、グローバルモデルに比べてより高い誤差予測精度を達成する。
• 本フレームワークは、時間瞬時の誤差を予測し、即座に補正することで、補間モデル出力の効果的なリアルタイム補正を可能にする。
• 予測誤差モデルを用いた時間平均および井戸平均誤差の統計的モデリングは、高い正確性を示し、不確実性評価への有用性を実証する。
• 包括的な誤差指標のセットを用いた高次元回帰により、専門家による特徴量選択への依存を低減する。
• 非線形オイル・ウォーター地下流体の低次元モデルに対して本手法を検証した結果、複雑な実世界の応用において優れた性能を示した。