[論文レビュー] Bi-fidelity Variational Auto-encoder for Uncertainty Quantification

Nuojin Cheng, Osman Asif Malik+3 more|arXiv (Cornell University)|May 25, 2023

Probabilistic and Robust Engineering Design参考文献 51被引用数 4

ひとこと要約

本稿では、物理的システムにおける不確実性評価（UQ）のための正確な不確実性評価を達成するために、高精度（HF）サンプルの必要数を顕著に削減する、二重精度変分オートエンコーダー（BF-VAE）を提案する。低精度（LF）および高精度（HF）データを統合し、潜在空間における二重精度自己回帰を活用することで、限られたHFデータを用いた変分下界の最適化が可能となり、HFデータが不足する状況において、HFオンリーベースのVAEに比べて優れた統計的精度を達成する。KIDスコアは、HFサンプル数が少ない場合に最大40％の向上を示す。

ABSTRACT

Quantifying the uncertainty of quantities of interest (QoIs) from physical systems is a primary objective in model validation. However, achieving this goal entails balancing the need for computational efficiency with the requirement for numerical accuracy. To address this trade-off, we propose a novel bi-fidelity formulation of variational auto-encoders (BF-VAE) designed to estimate the uncertainty associated with a QoI from low-fidelity (LF) and high-fidelity (HF) samples of the QoI. This model allows for the approximation of the statistics of the HF QoI by leveraging information derived from its LF counterpart. Specifically, we design a bi-fidelity auto-regressive model in the latent space that is integrated within the VAE's probabilistic encoder-decoder structure. An effective algorithm is proposed to maximize the variational lower bound of the HF log-likelihood in the presence of limited HF data, resulting in the synthesis of HF realizations with a reduced computational cost. Additionally, we introduce the concept of the bi-fidelity information bottleneck (BF-IB) to provide an information-theoretic interpretation of the proposed BF-VAE model. Our numerical results demonstrate that BF-VAE leads to considerably improved accuracy, as compared to a VAE trained using only HF data, when limited HF data is available.

研究の動機と目的

• 高精度（HF）シミュレーションが高価で不足しがちな不確実性評価（UQ）における計算的ボトル neck を解決すること。
• 生成モデルの訓練に必要なHF実現数を減らし、QoIの統計推定を正確に行うこと。
• LFデータからHFデータへの知識伝達を可能にしつつ、潜在空間における統計的整合性を維持する深層生成モデルの開発。
• 二重精度情報ボトルネック（BF-IB）フレームワークを用いて、モデルに情報理論的基盤を提供すること。
• 提案されたBF-VAEが、HFデータが限られる状況において、HFオンリーベースのVAEを上回ることを実証すること。

提案手法

• BF-VAEは、LFおよびHFデータの両方に共通する潜在空間を採用する確率的エンコーダ・デコーダアーキテクチャを採用し、統合的モデリングを可能にする。
• 潜在空間に二重精度自己回帰構造を導入し、LFおよびHF表現間の依存関係をモデル化する。
• 限られたHFサンプルを用いても、LFおよびHFデータを統合したハイブリッド損失を用いて、HF対数尤度の変分下界を最大化する。
• 訓練アルゴリズムは二段階プロセスを採用：まずLFデータで事前学習を行い、次にHFデータを用いた共同微調整で再構成誤差およびKL発散項を最小化する。
• 二重精度情報ボトルネック（BF-IB）を用いて、潜在表現における忠実度と圧縮のトレードオフを定量化する情報理論的解釈を提供する。
• 全結合ニューラルネットワークを用い、GeLU活性化関数と4次元の潜在空間を採用し、固定されたβハイパーパrameterを用いてAdam最適化手法で訓練する。

実験結果

リサーチクエスチョン

• RQ1 二重精度VAEアーキテクチャは、高精度シミュレーションの必要数を減らしつつ、不確実性評価における統計的精度を維持または向上させることができるか？
• RQ2 低精度データの統合は、限られた高精度データで訓練されたVAEの一般化性能およびサンプル品質をどのように向上させるか？
• RQ3 潜在空間が低精度および高精度データの両方において、忠実度と圧縮のバランスを取るために果たす情報理論的役割は何か？
• RQ4 HFデータが限られる状況において、提案されたBF-VAEは、標準的なHFオンリーベースのVAEを上回る分布類似性を示すか？
• RQ5 潜在空間における二重精度自己回帰構造は、現実的なHF実現を生成する能力をどの程度向上させるか？

主な発見

• HF実現数が少ない場合（n=10）、BF-VAEはHFオンリーベースのVAEに比べて顕著に高いKIDスコアを達成し、最大40％の向上を示す。
• HFサンプル数が少ない状況（n < 100）では、Kullback–Leibler距離（KID）で測定した分布類似性において、BF-VAEが常にHF-VAEを上回る。
• 400個のLFサンプルを用いることで、HFデータの有効な訓練コストが約4.08実現にまで削減される。これはLFデータが訓練目的に寄与しているためである。
• HFデータが豊富な場合（n > 600）、HF-VAEの性能がBF-VAEを上回る。これは、多精度モデルが高データ環境下で期待通りに機能することを確認する。
• 可視化比較により、BF-VAEが生成するサンプルは、特に尾部挙動や極端事象を捉える点で真のHF分布に近く、良好な一致を示す。
• 二重精度情報ボトルネック（BF-IB）は、LFデータから関連性の高い圧縮表現を抽出し、HF分布に情報を供給するモデルの能力を理論的に裏付ける。