[論文レビュー] PCENet: High Dimensional Surrogate Modeling for Learning Uncertainty

Paz Fink Shustin, Shashanka Ubaru+5 more|arXiv (Cornell University)|Feb 10, 2022

Model Reduction and Neural Networks被引用数 4

ひとこと要約

PCENetは、変分オートエンコーダー（VAE）を用いた潜在空間次元削減と、最大平均差分（MMD）を用いた多項式 chaos 展開（PCE）による分布レベルの回帰を組み合わせることで、高次元の不確実性評価（UQ）のための2段階のサーヴィレートモデリングフレームワークを提案する。この手法により、事前の分布仮定を必要とせず、正確な不確実性伝搬とモーメントマッチングが可能となり、回帰および偏微分方程式（PDE）学習のタスクにおいて競争力ある性能を達成する。

ABSTRACT

Learning data representations under uncertainty is an important task that emerges in numerous scientific computing and data analysis applications. However, uncertainty quantification techniques are computationally intensive and become prohibitively expensive for high-dimensional data. In this study, we introduce a dimensionality reduction surrogate modeling (DRSM) approach for representation learning and uncertainty quantification that aims to deal with data of moderate to high dimensions. The approach involves a two-stage learning process: 1) employing a variational autoencoder to learn a low-dimensional representation of the input data distribution; and 2) harnessing polynomial chaos expansion (PCE) formulation to map the low dimensional distribution to the output target. The model enables us to (a) capture the system dynamics efficiently in the low-dimensional latent space, (b) learn under uncertainty, a representation of the data and a mapping between input and output distributions, (c) estimate this uncertainty in the high-dimensional data system, and (d) match high-order moments of the output distribution; without any prior statistical assumptions on the data. Numerical results are presented to illustrate the performance of the proposed method.

研究の動機と目的

• 次元の呪いによる高次元データシステムにおける不確実性評価（UQ）の計算的非実行可能性に対処すること。
• データの事前の統計的仮定を必要としない、入力と出力分布間の関数的マッピングを学習するサーヴィレートモデリングアプローチの開発。
• 低次元潜在表現を用いて、高次元システムにおける正確な不確実性伝搬と高次モーメントマッチングを実現すること。
• 深層生成モデリング（VAE）とスペクトル的サーヴィレートモデリング（PCE）を組み合わせることで、機械学習および科学計算分野におけるスケーラブルで汎用性の高いUQを実現すること。

提案手法

• 変分オートエンコーダー（VAE）を用いて、高次元入力データ分布を分布特性を保持したまま低次元潜在空間にマッピングする。
• 潜在空間表現を多項式 chaos 展開（PCE）モデルの入力として用い、潜在空間から出力分布へのマッピングを学習する。
• PCEの係数は、予測出力分布と真の出力分布を一致させるモーメントマッチング技術である最大平均差分（MMD）を用いて学習する。
• MMDに依存することで、データの背後にある分布を事前に知る必要がなく、強いパラメトリック仮定を避ける。
• モデルはエンドツーエンドで訓練される：VAEは潜在分布を学習し、MMDを用いたPCEは潜在表現を条件とした出力分布の条件付き分布を学習する。
• 不確実性評価は、学習済み潜在分布からのサンプリングとPCEモデルへの不確実性伝搬により実施され、効率的な事後統計推定が可能になる。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデリング（VAE）とスペクトル的サーヴィレートモデリング（PCE）を組み合わせることで、高次元データシステムにおける入出力分布の学習が有効に可能か。
• RQ2 MMDに基づくPCE学習は、事前の分布仮定なしに、出力分布の高次モーメントをどの程度正確にマッチングできるか。
• RQ3 VAE-PCEフレームワークは、標準的なベースラインと比較して、不確実性を伴う回帰およびPDE解の学習においてどの程度の性能を示すか。
• RQ4 計算コストと不確実性伝搬の正確性を維持したまま、高次元入力にスケーリング可能か。

主な発見

• PCENetは、ボストンおよび糖尿病データセットにおける回帰タスクで競争力ある性能を示し、LARSテストセットにおける相対誤差は1.5%〜8.8%の範囲に収まった。
• アレン＝カーンおよびハミルトニアン・ジャコビ・ベルマン（HJB）PDE問題において、テスト設定下で相対誤差が10%未満の高次元入出力マッピングを効果的に学習した。
• 潜在空間からのサンプリングにより、効果的な不確実性伝搬が実現され、事後標準偏差および予測区間の推定が可能になった。
• 適応的PCE次数選択（アレン＝カーンおよびHJBでは2、糖尿病では3）により、多様なデータ分布にわたって安定的かつ正確なモーメントマッチングが達成された。
• PCE係数学習にMMDを用いることで、データの確率密度関数を明示的に知る必要がなく、高次モーメントマッチングが可能になった。
• フレームワークは低次元潜在空間で動作することで計算コストを削減したが、同時に入出力関係のグローバル特性を保持した。