[論文レビュー] Meaningful uncertainties from deep neural network surrogates of large-scale numerical simulations

Gemma J. Anderson, Jim Gaffney+4 more|arXiv (Cornell University)|Oct 26, 2020

Model Reduction and Neural Networks被引用数 11

ひとこと要約

本論文は、大規模な慣性核融合シミュレーションからのスカラー出力および画像出力のための補正済みで解釈可能なベイズ的不確実性を生成するために、深層オートエンコーダーに基づく補助モデル（MaCC）にモンテカルロドロップアウトを用いた変分推論手法を提案する。この手法は予測における物理的相関構造を保持し、訓練データが少ない領域では不確実性が増加する不確実性に配慮したアクティブラーニングを可能にする。

ABSTRACT

Large-scale numerical simulations are used across many scientific disciplines to facilitate experimental development and provide insights into underlying physical processes, but they come with a significant computational cost. Deep neural networks (DNNs) can serve as highly-accurate surrogate models, with the capacity to handle diverse datatypes, offering tremendous speed-ups for prediction and many other downstream tasks. An important use-case for these surrogates is the comparison between simulations and experiments; prediction uncertainty estimates are crucial for making such comparisons meaningful, yet standard DNNs do not provide them. In this work we define the fundamental requirements for a DNN to be useful for scientific applications, and demonstrate a general variational inference approach to equip predictions of scalar and image data from a DNN surrogate model trained on inertial confinement fusion simulations with calibrated Bayesian uncertainties. Critically, these uncertainties are interpretable, meaningful and preserve physics-correlations in the predicted quantities.

研究の動機と目的

• 大規模な科学的シミュレーションの深層ニューラルネットワーク補助モデルにおける信頼性のある不確実性評価の欠如に対処すること。
• スカラー出力および画像出力の両方に対して補正済みで解釈可能な不確実性を生成するとともに、物理的相関を保持する手法の開発。
• 訓練データが少ない領域に起因する高い予測不確実性を特定することで、不確実性を指針とするアクティブラーニングを可能にすること。
• 予測不確実性の推定が保持された検証データ上で統計的に補正されていることを保証し、科学的意思決定におけるモデル予測の信頼性を向上させること。

提案手法

• 慣性核融合シミュレーションデータ上で、スカラー出力と画像出力を共有された潜在空間に統合的に表現する深層オートエンコーダーに基づく補助モデル（MaCC）を訓練する。
• 推論時にモンテカルロドロップアウトを適用することで、アーキテクチャの変更なしにベイジアン事後分布を近似し、エピステミック的不確実性を推定可能にする。
• ドロップアウトのハイパーパrameterは、保持された検証セット上で補正基準を用いて調整され、不確実性推定が統計的に信頼できるようにする。
• 不確実性の補正は信頼性図およびカバレッジ指標を用いて評価され、予測区間が名目上の割合（例：95％区間が真の値を約95％の確率で含む）で真の値を含むことを保証する。
• マルチモーダルなデータ関係がエンコードされる潜在空間で動作することで、画像予測における物理的相関が保持される。
• 1つの入力パラメータをその訓練範囲全体で変化させることで不確実性補間を示し、訓練サンプルが少ない領域で不確実性が増加することを示す。

実験結果

リサーチクエスチョン

• RQ1 大規模な科学的シミュレーションのための深層ニューラルネットワーク補助モデルは、スカラー出力および画像出力の両方に対して補正済みで解釈可能な不確実性推定を提供できるか？
• RQ2 潜在空間でハイパーパrameterチューニングを伴うモンテカルロドロップアウトを用いることで、画像予測における物理的に意味のある相関が保持されるか？
• RQ3 補助モデルからの不確実性推定は、訓練データが少ないために高い不確実性が生じる領域を特定することで、アクティブラーニングを支援できるか？
• RQ4 補正指標で測定した場合、不確実性評価手法は多様な入力設定に対して頑健で信頼できるか？

主な発見

• 不確実性を備えたMaCCモデルは、検証セット上で真の値が約95％の確率で95％予測区間に含まれるなど、補正済みの予測不確実性を生成する。
• 予測された対数中性子出力の不確実性は、訓練サンプルが少ない領域で増加し、標準偏差は薄くサンプルされた領域（例：1.5–1.6）で密にサンプルされた領域（例：1.0–1.1）と比較して約2倍に増加する。
• 共通の潜在表現を学習することで、画像出力における物理的相関が保持され、不確実性推定が意味のある空間的構造を反映する。
• 本手法は不確実性を指針とするアクティブラーニングを可能にし、高い不確実性を示す領域は追加のシミュレーションによってモデルの精度が最も向上する可能性があることを示す。
• 既存のDNNアーキテクチャへの変更が最小限で済み、マルチモーダルデータを扱う任意のモデルに、オートエンコーダー部を備えることで適用可能である。
• 潜在空間における補正に基づくハイパーパrameterチューニングは、デフォルトのドロップアウト設定よりも信頼性の高い不確実性推定をもたらす。