[論文レビュー] Sequential Learning of Active Subspaces

Nathan Wycoff, Mickaël Binois+1 more|arXiv (Cornell University)|Jan 1, 2021

Gaussian Processes and Bayesian Inference参考文献 49被引用数 7

ひとこと要約

本稿では、有限差分近似を必要とせず、ガウス過程（GP）代理モデルを用いてアクティブサブスペース推定の閉形式解を提案する。GPカーネルから解析的にアクティブサブスペース行列を導出することで、獲得関数を用いた効率的な逐次設計が可能となり、高価なブラックボックス評価を著しく削減するとともに、感度分析における不確実性を定量化する。

ABSTRACT

In recent years, active subspace methods (ASMs) have become a popular means of performing subspace sensitivity analysis on black-box functions. Naively applied, however, ASMs require gradient evaluations of the target function. In the event of noisy, expensive, or stochastic simulators, evaluating gradients via finite differencing may be infeasible. In such cases, often a surrogate model is employed, on which finite differencing is performed. When the surrogate model is a Gaussian process (GP), we show that the ASM estimator is available in closed form, rendering the finite-difference approximation unnecessary. We use our closed-form solution to develop acquisition functions focused on sequential learning tailored to sensitivity analysis on top of ASMs. We also show that the traditional ASM estimator may be viewed as a method of moments estimator for a certain class of GPs. We demonstrate how uncertainty on GP hyperparameters may be propagated to uncertainty on the sensitivity analysis, allowing model-based confidence intervals on the active subspace. Our methodological developments are illustrated on several examples. Supplementary files for this article are available online.

研究の動機と目的

• 勾配評価が困難な高次元で高価またはノイジーなシミュレータにおいて、アクティブサブスペースを推定する課題に対処すること。
• 有限差分近似に依存しない勾配推定を、GP代理モデルを活用することで実現すること。
• 少ない関数評価回数でアクティブサブスペース推定を改善するための獲得関数を、逐次設計のために開発すること。
• GPハイパーパrameterの不確実性を伝播させることで、アクティブサブスペース推定における不確実性を定量化すること。
• 古典的手法のアクティブサブスペース法とGPモデリングを、モーメント法の解釈を通じて統合すること。

提案手法

• 共通の共分散カーネル（例：平方指数）を用いたGPモデル下で、アクティブサブスペース行列の閉形式表現を導出すること。
• 古典的手法のアクティブサブスペース推定器を、特定のGPモデルクラスにおけるモーメント法推定器として再解釈すること。
• ヘッセ行列近似のトレース、分散、行列式に基づく獲得関数を構築し、逐次的サンプリングを誘導すること。
• モンテカルロサンプリングまたは解析的近似を用いて、GPハイパーパrameterの不確実性をアクティブサブスペースへの不確実性に伝播させること。
• 逐次設計を用いて、アクティブサブスペース推定の不確実性を低減する情報をもつ入力点を繰り返し選択すること。
• 合成的および実世界のシミュレータ（ミネソタ州Covid-19モデルを含む）を用いて、サブスペース距離を指標として、手法の妥当性を検証すること。

実験結果

リサーチクエスチョン

• RQ1 古典的手法のアクティブサブスペース推定器は、GPモデル下でモーメント法フレームワークと正式に結びつけることができるか？
• RQ2 GP代理モデルを用いた場合、有限差分近似を回避するアクティブサブスペース行列の閉形式解が存在するか？
• RQ3 GPの不確実性に基づく獲得関数は、逐次学習におけるアクティブサブスペース推定の効率性を向上させることができるか？
• RQ4 GPハイパーパrameterの不確実性を、推定されたアクティブサブスペースへの不確実性にどのように伝播させることができるか？
• RQ5 提案手法は、正確なアクティブサブスペース推定を達成するために必要な高価なシミュレータ評価回数を削減できるか？

主な発見

• 古典的手法のアクティブサブスペース推定器が、特定のGPモデルクラスにおいてモーメント法推定器として正式に示され、ASMsとGP回帰の間の理論的リンクが確立された。
• 共通のGPカーネル下で、アクティブサブスペース行列の閉形式表現が導出され、代理モデル上でモンテカルロ有限差分法の必要がなくなる。
• ヘッセ行列近似のトレース、分散、行列式に基づく獲得関数は、少ない関数評価回数でサブスペース誤差を低減する点で、ランダムサンプリングを上回る性能を示した。
• ミネソタ州Covid-19シミュレータにおいて、提案手法はランダムサンプリングよりも低いサブスペース誤差を達成し、特に分散に基づく獲得関数が最良の性能を示した。
• GPハイパーパrameterの不確実性が、アクティブサブスペースへの不確実性に成功裏に伝播され、感度分析のためのモデルベースの信頼区間が可能になった。
• 勾配が入手不能またはノイジーな場合に特に顕著に、正確なアクティブサブスペース推定に必要な高価なブラックボックス評価回数が削減された。