[論文レビュー] Computing active subspaces with Monte Carlo

Paul G. Constantine, David F. Gleich|arXiv (Cornell University)|Aug 3, 2014

Stochastic Gradient Optimization Techniques参考文献 18被引用数 46

ひとこと要約

本稿では、勾配サンプルを用いて高次元パrameterスタディにおけるアクティブ部分空間を計算するモンテカルロ法を提案する。ランダム行列理論を活用して固有値および部分空間推定誤差の上限を導出する。理論的サンプルサイズのガイドラインと、精度と安定性を評価するブートストラップに基づく実用的手法を提供し、2次関数および100変数のPDEモデルを用いた検証を実施する。

ABSTRACT

Active subspaces can effectively reduce the dimension of high-dimensional parameter studies enabling otherwise infeasible experiments with expensive simulations. The key components of active subspace methods are the eigenvectors of a symmetric, positive semidefinite matrix whose elements are the average products of partial derivatives of the simulation's input/output map. We study a Monte Carlo method for approximating the eigenpairs of this matrix. We offer both theoretical results based on recent non-asymptotic random matrix theory and a practical approach based on the bootstrap. We extend the analysis to the case when the gradients are approximated, for example, with finite differences. Our goal is to provide guidance for two questions that arise in active subspaces: (i) How many gradient samples does one need to accurately approximate the eigenvalues and subspaces? (ii) What can be said about the accuracy of the estimated subspace, both theoretically and practically? We test the approach on both simple quadratic functions where the active subspace is known and a parameterized PDE with 100 variables characterizing the coefficients of the differential operator.

研究の動機と目的

• 従来の統合手法が非効率となる高次元シミュレーションにおけるアクティブ部分空間の推定という課題に対処すること。
• 固有値および固有ベクトルの推定に必要な勾配サンプル数の理論的上限を提供すること。
• 有限差分などのように勾配が近似される場合にも、解析を拡張すること。
• 推定された部分空間の不確実性と安定性を評価する実用的なブートストラップベースの手法を開発すること。
• 合成的な2次関数および複雑な100変数のPDEモデルを用いて、手法の妥当性を検証すること。

提案手法

• 本手法は、入力点のモンテカルロサンプリングを用いて、勾配の期待外積としてアクティブ部分空間行列Cを推定する。
• TroppとGittensによる非漸近的ランダム行列理論を適用し、推定固有値と真の固有値との乖離を上限で制約する。
• kが主要固有値の数、mが入力次元である場合、k log mに比例するヒューリスティックなサンプルサイズルールを導入する。
• 有限差分などの近似勾配の場合、勾配の精度が向上するにつれて消失するバイアス項を含む誤差上限を導出する。
• ブートストラップ手順を用いて、固有値および部分空間距離の信頼区間を推定し、実用的な安定性を評価する。
• 既知のアクティブ部分空間を持つ2次関数および係数がパラメータ化された100次元のPDEモデルに、本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 アクティブ部分空間行列の最初のk個の固有値を正確に推定するには、どの程度の勾配サンプル数が必要か？
• RQ2 推定されたアクティブ部分空間の理論的および実用的精度は、特に固有値のギャップとの関係でどの程度か？
• RQ3 特にサンプリングのばらつきに起因する場合に、推定された部分空間の安定性を実用的にどのように評価できるか？
• RQ4 近似勾配（例：有限差分）による誤差は、推定されたアクティブ部分空間の精度にどのように影響するか？
• RQ5 ブートストラップ手法は、固有値および部分空間推定における不確実性を信頼性を持って定量化できるか？

主な発見

• 理論的上限は、k log mに比例するサンプルサイズが、固有値推定の正確性を満たすのに十分であることを示し、明確な確率的保証を提供する。
• 最初の固有値と2番目の固有値の間に顕著なギャップがあることは、ブートストラップ信頼区間によって確認され、明確に定義されたアクティブ部分空間を示している。
• 固有値および部分空間距離のブートストラップ信頼区間は、不確実性を効果的に定量化し、推定された部分空間に対する信頼を高める。
• 近似勾配の使用は、誤差上限にバイアス項を導入するが、勾配の精度が向上するにつれてその影響が小さくなる。
• 数値結果から、勾配の精度が不十分な場合、サンプル数が多くても部分空間推定が不正確になることが示された。
• 本手法は100変数のPDEモデルにおいて次元削減に成功し、ブートストラップ信頼区間によって安定的かつ正確な部分空間推定が確認された。