[論文レビュー] A survey of unsupervised learning methods for high-dimensional uncertainty quantification in black-box-type problems

Katiana Kontolati, Dimitrios Loukrezis+3 more|arXiv (Cornell University)|Feb 9, 2022

Probabilistic and Robust Engineering Design参考文献 137被引用数 52

ひとこと要約

本稿は、ブラックボックスPDEモデルにおける高次元不確実性量化（UQ）を効率的に行うために、非監督型次元削減（DR）技術を用いた多様体ベースの多項式クラウド拡張（m-PCE）フレームワークを提案する。13種類のDR手法（線形：例えぱPCA、ICA、非線形：例えぱAE、LLE）を用いて高次元確率的入力を低次元多様体に投影し、その後スパースPCEサーモンを構築することで、深層学習サーモンと同等の精度を達成しつつ、訓練時間を数桁短縮する。特に、内部次元が低い問題において顕著である。

ABSTRACT

Constructing surrogate models for uncertainty quantification (UQ) on complex partial differential equations (PDEs) having inherently high-dimensional $\mathcal{O}(10^{\ge 2})$ stochastic inputs (e.g., forcing terms, boundary conditions, initial conditions) poses tremendous challenges. The curse of dimensionality can be addressed with suitable unsupervised learning techniques used as a pre-processing tool to encode inputs onto lower-dimensional subspaces while retaining its structural information and meaningful properties. In this work, we review and investigate thirteen dimension reduction methods including linear and nonlinear, spectral, blind source separation, convex and non-convex methods and utilize the resulting embeddings to construct a mapping to quantities of interest via polynomial chaos expansions (PCE). We refer to the general proposed approach as manifold PCE (m-PCE), where manifold corresponds to the latent space resulting from any of the studied dimension reduction methods. To investigate the capabilities and limitations of these methods we conduct numerical tests for three physics-based systems (treated as black-boxes) having high-dimensional stochastic inputs of varying complexity modeled as both Gaussian and non-Gaussian random fields to investigate the effect of the intrinsic dimensionality of input data. We demonstrate both the advantages and limitations of the unsupervised learning methods and we conclude that a suitable m-PCE model provides a cost-effective approach compared to alternative algorithms proposed in the literature, including recently proposed expensive deep neural network-based surrogates and can be readily applied for high-dimensional UQ in stochastic PDEs.

研究の動機と目的

• 複雑なPDEに確率的入力を伴う高次元不確実性量化（UQ）における次元の呪いを解消すること。
• 13種類の非監督型次元削減（DR）手法が入力の構造をどれほど保持できるか、および正確なサーモンモデリングを可能にするかを評価すること。
• DRと多項式クラウド拡張を組み合わせた効率的なUQのための多様体PCE（m-PCE）フレームワークを構築し、検証すること。
• 異なる物理的システム（入力の複雑さが異なる）において、DR手法の予測精度と計算コストを比較すること。
• 問題の複雑さと計算制約に基づいて、研究者が最適なDR手法を選択できるようにガイドすること。

提案手法

• 線形（例えぱPCA、ICA、k-PCA）、非線形（例えぱLLE、自己符号化器）、スペクトル的手法を含む13種類の非監督型DR手法を用い、高次元確率的入力を低次元潜在空間に投影する。
• 得られた低次元埋め込みを用いて、スパース多項式クラウド拡張（PCE）を構築し、サーモンモデリングを行う。
• DR手法の出力された潜在空間（「多様体」と呼ぶ）を用いて、任意のDR手法とPCEを組み合わせたm-PCEモデルを構築する。
• スパース性と精度を保証するために、圧縮センシングおよび基底適応技術を用いてPCEサーモンを訓練する。
• 相対誤差のモーメント推定とCPU時間の両面から、3つの物理的ブラックボックスモデル（ポアソン方程式、熱方程式、ブルッセルーター方程式）を用いて性能を評価する。
• ガウス分布および非ガウス分布の確率的場を入力として用い、異なる入力分布におけるロバストネスを評価する。

実験結果

リサーチクエスチョン

• RQ1 どの非監督型DR手法が、高次元確率的入力の次元を最も効果的に削減し、構造的および統計的性質を保持できるか？
• RQ2 複雑な入力不確実性を伴う物理的PDEに適用した場合、異なるDR手法がm-PCEモデルの予測精度にどのように影響を与えるか？
• RQ3 高次元UQにおいて、線形DR手法と非線形DR手法の間で、計算コスト（CPU時間）と精度のトレードオフはどのように変化するか？
• RQ4 自己符号化器などの複雑なディープラーニングベースのDR手法と比較して、PCA や ICA などの単純なDR手法が、高次元UQで同等の精度を達成できるか？
• RQ5 入力データの内部次元が、m-PCEフレームワークの成功にどのように影響を与えるか？

主な発見

• 低複雑性の確率的場を伴う単純な1次元問題では、線形DR手法（PCA、k-PCA、ICA）が、精度と速度のバランスが最良であり、訓練時間は数秒のオーダーであった。
• マルチスケールの確率的場と空間時間的応答を伴う複雑な問題（例えぱ熱方程式、ブルッセルーター方程式）では、非線形DR手法（自己符号化器、LLE）が線形手法を上回る精度を示したが、CPUコストは1〜3桁高い傾向にあった。
• 最適なPCEサーモンは常に多項式次数2〜4の範囲で構築されており、DRが滑らかで低次元の多様体を明らかにしていることが示唆され、低次の多項式近似に適していることがわかった。
• 標準的なPCAをDRに、PCEをモデリングに用いたm-PCEフレームワークは、深層ニューラルネットワークベースのサーモンと同等の予測精度を達成したが、訓練時間は最大4桁短縮された。
• 精度と計算コストの両方を考慮した場合、単純なDR手法は、特に内部次元が低い問題では、複雑で過パrameter化された代替手法を上回ることが多かった。
• 本研究は、m-PCEが、入力データの内部次元が低く、非監督型DRで効果的に捉えられる場合、高価なディープラーニングサーモンのコスト効率の良い代替手段であることを確認した。