[論文レビュー] Computing Active Subspaces

Paul G. Constantine, David F. Gleich|arXiv (Cornell University)|Aug 3, 2014

Theoretical and Computational Physics被引用数 1

ひとこと要約

本稿では、高次元パrameterスタディにおけるアクティブサブスぺースを計算するためのモンテカルロ法とブートストラップに基づく誤差推定を提案する。この手法により、高価なシミュレーションにおける次元削減が可能になる。勾配サンプル数とサブスぺースの精度に関する理論的境界と実用的指針を提供し、2次関数および100変数のPDEに対して検証されている。

ABSTRACT

Active subspaces can effectively reduce the dimension of high-dimensional parameter studies enabling otherwise infeasible experiments with expensive simulations. The key components of active subspace methods are the eigenvectors of a symmetric, positive semidefinite matrix whose elements are the average products of partial derivatives of the simulation's input/output map. We study a Monte Carlo method for approximating the eigenpairs of this matrix. We offer both theoretical results based on recent non-asymptotic random matrix theory and a practical approach based on the bootstrap. We extend the analysis to the case when the gradients are approximated, for example, with finite differences. Our goal is to provide guidance for two questions that arise in active subspaces: (i) How many gradient samples does one need to accurately approximate the eigenvalues and subspaces? (ii) What can be said about the accuracy of the estimated subspace, both theoretically and practically? We test the approach on both simple quadratic functions where the active subspace is known and a parameterized PDE with 100 variables characterizing the coefficients of the differential operator.

研究の動機と目的

• 高次元シミュレーションにおけるアクティブサブスぺース近似の精度を確保するための勾配サンプル数を決定する課題に対処すること。
• 勾配が差分法やその他の近似手法によって計算される場合に、推定されたアクティブサブスぺースの精度を評価するための理論的および実用的ツールを提供すること。
• ノイズが混在するか、近似された勾配を伴う状況にも対応できるようにアクティブサブスぺース手法を拡張し、実世界の応用に耐性を持つこと。

提案手法

• 本手法は、入力/出力マップの勾配の期待外積からなる対称的かつ半正定値行列をモンテカルロサンプリングにより推定する。
• 非漸近的確率的行列理論を用いて、固有値および固有ベクトルの推定誤差に対する有限サンプル境界を導出する。
• ブートストラップに基づくアプローチを導入し、計算された固有ペアの不確実性を経験的に推定することで、実用的な誤差評価を可能にする。
• 勾配が有限差分法などの近似によって得られる場合の拡張を図り、その結果生じるバイアスと分散を分析する。
• アルゴリズムは合成的な2次関数および100変数のPDEに対して実装・テストされ、性能とサンプルサイズ要件の妥当性が検証された。

実験結果

リサーチクエスチョン

• RQ1 アクティブサブスぺースの固有ペアを所望の精度で推定するには、どの程度の勾配サンプル数が必要か？
• RQ2 有限サンプルにおけるモンテカルロサンプリングを用いた場合に、固有値および固有ベクトルの推定に対してどのような理論的保証を提供できるか？
• RQ3 勾配の近似（例：有限差分）は、計算されたアクティブサブスぺースの精度と信頼性にどのように影響するか？
• RQ4 ブートストラップリサンプリングは、アクティブサブスぺースの不確実性を信頼できるデータ駆動型推定で提供できるか？
• RQ5 理論的境界は、実世界のシミュレーション問題における経験的性能とどのように比較されるか？

主な発見

• 理論的境界から、必要な勾配サンプル数がヘッセ行列の条件数と所望の精度に比例して増加することを示し、サンプルサイズの計画が可能になる。
• ブートストラップ法により、信頼性の高い経験的不確実性推定が得られ、結果の実用的妥当性の検証が可能になる。
• 2次関数のケースでは、少数のサンプルで既知のアクティブサブスぺースを正確に回復でき、理論的期待と一致することが確認された。
• 100変数のPDEのケースでは、高次元性と勾配の近似誤差が存在する中でも、支配的となるアクティブサブスぺースを効果的に同定できた。
• 有限差分近似が制御された誤差を引き起こすことが明らかとなり、勾配サンプリングが十分に密であれば、手法のロバストネスが保たれることを示した。