[論文レビュー] Extending classical surrogate modelling to high-dimensions through supervised dimensionality reduction: a data-driven approach

Christos Lataniotis, Stefano Marelli+1 more|arXiv (Cornell University)|Dec 15, 2018

Probabilistic and Robust Engineering Design参考文献 64被引用数 5

ひとこと要約

本論文は、高次元問題における次元削減（KPCAを用いて）とスムージングモデル（KrigingまたはPCE）を統合的に最適化する、データ駆動型で非侵襲的なフレームワークであるDRSM（次元削減とスムージングモデル）を提案する。低精度のスムージングモデルを用いたネストド最適化問題を解き、交差検証（LOO）を用いて検証することで、逐次的手法に比べ優れた一般化誤差を達成し、入力次元数が10^4に達するまで効果的なスムージングモデル構築が可能になる。

ABSTRACT

Thanks to their versatility, ease of deployment and high-performance, surrogate models have become staple tools in the arsenal of uncertainty quantification (UQ). From local interpolants to global spectral decompositions, surrogates are characterised by their ability to efficiently emulate complex computational models based on a small set of model runs used for training. An inherent limitation of many surrogate models is their susceptibility to the curse of dimensionality, which traditionally limits their applicability to a maximum of $\mathcal{O}(10^2)$ input dimensions. We present a novel approach at high-dimensional surrogate modelling that is model-, dimensionality reduction- and surrogate model- agnostic (black box), and can enable the solution of high dimensional (i.e. up to $\mathcal{O}(10^4)$) problems. After introducing the general algorithm, we demonstrate its performance by combining Kriging and polynomial chaos expansions surrogates and kernel principal component analysis. In particular, we compare the generalisation performance that the resulting surrogates achieve to the classical sequential application of dimensionality reduction followed by surrogate modelling on several benchmark applications, comprising an analytical function and two engineering applications of increasing dimensionality and complexity.

研究の動機と目的

• スムージングモデルにおける次元の呪いを解消し、古典的手法が約10^2入力次元に制限される問題を克服する。
• 従来の2段階の非教師あり次元削減（例：PCA）に続くスムージングモデル構築の非最適性を是正する。これは出力情報を無視するためのものである。
• 既存のアルゴリズムを変更せずに次元削減とスムージングモデルを統合する非侵襲的かつブラックボックス型のフレームワークを開発する。
• 入力-出力観測値が限られたデータ駆動型環境においても、高次元で正確なスムージングモデルを構築できるようにする。
• 解析的関数および構造的入力を有する複雑な工学的問題において、次元数の増加に伴うフレームワークの頑健性と一般化性能を実証する。

提案手法

• 次元削減（KPCA）とスムージングモデル（KrigingまたはPCE）のパラメータを同時に最適化するネストド最適化問題を定式化する。
• 最適化段階での計算コストを削減するため、低精度のスムージングモデル（例：粗いグリッドを用いたKriging）を用いる。
• 一般化誤差の代理指標として留数交差検証（LOO）誤差を用い、パラメータ選定を支援する。
• データに適応するカーネル（例：RBF）を用いたカーネル主成分分析（KPCA）を適用し、高次元入力の非線形構造を捉える。
• グローバル最適化戦略を用いて、低次元空間の次元数とカーネルハイパーパrameterを同時に最適化する。
• 最後に、前段階で特定された最適パラメータを用いて高精度なスムージングモデルを訓練し、非侵襲性と市販ツールとの互換性を保証する。

実験結果

リサーチクエスチョン

• RQ1 次元削減とスムージングモデルの統合的最適化フレームワークは、従来の逐次的手法（次元削減 → スムージングモデル）に比べ、高次元問題において優れた性能を示せるか？
• RQ2 出力に依存するカーネルチューニングを施したKPCAによる教師あり次元削減は、PCAのような非教師あり手法に比べ、スムージングモデルの一般化性能をどのように向上させるか？
• RQ3 統合的DRとSM最適化の文脈において、留数交差検証（LOO）誤差が一般化誤差の信頼できる代理指標として機能する程度はどの程度か？
• RQ4 提案されたDRSMフレームワークは、解析的関数および構造的入力を有する複雑な工学的応用を含む、多様な問題タイプにおいても優れた性能を維持できるか？
• RQ5 入力の背後にある確率的過程について事前の知識がない純粋なデータ駆動型状況においても、このフレームワークを適用可能か？

主な発見

• DRSMは、すべてのベンチマーク問題において逐次的手法に比べて低い検証誤差を一貫して達成し、特にKrigingベースのスムージングモデルで顕著な改善が見られた。
• Krigingの文脈では、PCAや距離保存を最適化したKPCAに比べ、DRSMが優れた性能を示し、出力に依存する次元削減の利点を実証した。
• 多項式 chaos 展開（PCE）の応用では、PCA や KPCA に比べてわずかではあるが一貫した改善が見られ、スムージングモデルの種別にかかわらず頑健性があることを示した。
• 一般化誤差の代理指標としてLOO誤差を用いることで、追加のモデル評価を必要とせずにDRとSMのパラメータチューニングが効果的に行えるようになった。
• フレームワークは非侵襲的であり、市販のスムージングモデルツールと互換性があるため、既存のソフトウェアスタックへのシームレスな統合が可能である。
• DRSMは、入力次元数がO(10^4)に達する問題に対しても効果的なスムージングモデル構築を可能にし、古典的手法の適用範囲を顕著に拡張した。