[論文レビュー] PGD-based advanced nonlinear multiparametric regressions for constructing metamodels at the scarce-data limit

Abel Sancarlos, Victor Champaney+3 more|arXiv (Cornell University)|Mar 9, 2021

Model Reduction and Neural Networks参考文献 26被引用数 14

ひとこと要約

本稿では、限られたデータ条件下で高精度なメタモデルを構築するために、rs-PGD、s²-PGD、ANOVA-PGDという高度なPGDベースの非線形多パラメトリック回帰手法を提案する。スパースサンプリング、階層的近似、分散分解を組み合わせることで、過学習を低減し予測精度を向上させる。特にs²-PGDは未学習データに対して2.4%の誤差率を達成し、標準的なs-PGDを著しく上回った。

ABSTRACT

Regressions created from experimental or simulated data enable the construction of metamodels, widely used in a variety of engineering applications. Many engineering problems involve multi-parametric physics whose corresponding multi-parametric solutions can be viewed as a sort of computational vademecum that, once computed offline, can be then used in a variety of real-time engineering applications including optimization, inverse analysis, uncertainty propagation or simulation based control. Sometimes, these multi-parametric problems can be solved by using advanced model order reduction -- MOR -- techniques. However, when the solution of these multi-parametric problems becomes cumbersome, one possibility consists in solving the problem for a sample of the parametric values, and then creating a regression from all the computed solutions, to finally infer the solution for any choice of the problem parameters. However, addressing high-dimensionality at the low data limit, ensuring accuracy and avoiding overfitting constitutes a difficult challenge. The present paper aims at proposing and discussing different PGD-based advanced regressions enabling the just referred features.

研究の動機と目的

• データが限られ、パラメトリック次元が高次元である状況下で、高精度なメタモデルを構築する課題に対処すること。
• データ不足と高次近似による、スパースPGDベースの回帰における過学習と一般化性能の低下を克服すること。
• 最適化や不確実性定量化などのリアルタイム工学的応用における低次元化モデル（ROM）の予測性能とロバスト性を向上させること。
• 正則化PGDフレームワークを用いて、高次元パラメトリック問題における有効な変数選択とスパース同定を可能にすること。
• 分離表現と分散分解（ANOVA）を組み合わせたフレームワークを構築し、データが限られた状況下でもモデルの解釈可能性と精度を向上させること。

提案手法

• 適応的近似基底を用いてモデルの複雑さを制御し、過学習を低減する、スパースPGD（s-PGD）の正則化版であるrs-PGDを提案する。
• s-PGDの2次正則化版であるs²-PGDを導入し、高次項に対してより強くペナルティを与えることで、安定性と予測能力を向上させる。
• パラメトリック関数を主効果と相互作用項に分解するANOVA分解を適用し、低次元成分に対して個別に回帰を実行可能にする。
• 階層的近似基底（モーダル適応戦略）を用い、高次のPGDモードにおいて複雑さを段階的に増加させ、初期モードでは単純性を保証する。
• 設計実験（DoE）として、ガウス＝ロバッチ点やラテンハイパーボリュームサンプリングを用い、構造的サンプリングと分離表現を組み合わせて計算効率を維持する。
• ANOVA-PGDでは、周辺関数に立方スプライン補間を、相互作用項に低ランク多項式回帰を適用し、直交性と次元削減を実現する。

実験結果

リサーチクエスチョン

• RQ1 rs-PGDやs²-PGDといった正則化技術は、限られたデータ下でのスパースPGDベースのメタモデリングにおいて、過学習を顕著に低減できるか？
• RQ2 ANOVA-PGDアプローチは、パラメトリック関数を直交成分に分解することで、予測精度とモデルの解釈性をどのように向上させるか？
• RQ3 s²-PGDは、未学習データにおける一般化性能と誤差低減の観点で、標準的なs-PGDをどの程度上回るか？
• RQ4 高次元パラメトリック問題において、PGD、スパースサンプリング、分散分解の組み合わせは、従来の回帰手法に比べてよりロバストで正確なメタモデルを生成できるか？
• RQ5 標準的なs-PGDがデータ不足のため失敗する状況下でも、これらのPGDベースの回帰手法は、有効な変数選択とスパース同定を可能にするか？

主な発見

• s²-PGDはテストセットにおいて2.4%の予測誤差を達成し、標準的なs-PGD（誤差46.39%）を著しく上回った。
• ANOVA-PGDは優れた予測性能を示し、正確な解に非常に近い結果を出力し、精度と一般化性能の両面で標準的なs-PGDを上回った。
• rs-PGDおよびs²-PGDフレームワークは、適応的近似基底による構造的複雑さの増加を強制することで、過学習を効果的に低減した。
• ANOVA-PGDアプローチは、関数を解釈可能な主効果と相互作用効果に分解することで、複雑な関数的依存関係（非線形的・結合項など）を的確に捉えた。
• s²-PGDにおける階層的近似基底の使用により、特にデータが限られた高次元設定下でもモデルの複雑さをより良好に制御できた。
• 提案手法は、標準的なs-PGDがデータ不足や過学習のため失敗する状況下でも、スパース同定と変数選択に有効であることが示された。