[論文レビュー] Additive Kernels for Gaussian Process Modeling

Nicolas Durrande, David Ginsbourger+1 more|arXiv (Cornell University)|Mar 21, 2011

Advanced Multi-Objective Optimization Algorithms参考文献 15被引用数 13

ひとこと要約

本稿では、可加性をカーネル構造に直接統合することで、高次元入力空間における効率的で解釈可能かつ確率論的に妥当なモデリングを可能にする、ガウス過程モデル「Additive Kriging」を提案する。パラメータ推定にはリラクスト・尤度最大化（RLM）アルゴリズムを用い、予測性能は一般化線形加法モデル（GAMs）と同等の水準に達する一方で、完全な不確実性評価とカーネルの柔軟性を維持しており、Sobolのg関数を含む高次元テストケースにおいて、標準的Krigingを上回る性能を示した。

ABSTRACT

Gaussian Process (GP) models are often used as mathematical approximations of computationally expensive experiments. Provided that its kernel is suitably chosen and that enough data is available to obtain a reasonable fit of the simulator, a GP model can beneficially be used for tasks such as prediction, optimization, or Monte-Carlo-based quantification of uncertainty. However, the former conditions become unrealistic when using classical GPs as the dimension of input increases. One popular alternative is then to turn to Generalized Additive Models (GAMs), relying on the assumption that the simulator's response can approximately be decomposed as a sum of univariate functions. If such an approach has been successfully applied in approximation, it is nevertheless not completely compatible with the GP framework and its versatile applications. The ambition of the present work is to give an insight into the use of GPs for additive models by integrating additivity within the kernel, and proposing a parsimonious numerical method for data-driven parameter estimation. The first part of this article deals with the kernels naturally associated to additive processes and the properties of the GP models based on such kernels. The second part is dedicated to a numerical procedure based on relaxation for additive kernel parameter estimation. Finally, the efficiency of the proposed method is illustrated and compared to other approaches on Sobol's g-function.

研究の動機と目的

• 古典的ガウス過程モデルにおける次元の呪いを、カーネル構造に可加性を埋め込むことで解決すること。
• 加法的GPモデルにおけるカーネルパラメータ推定のための数値的に効率的でデータ駆動の手法を開発すること。
• 可加モデルの解釈可能性と複雑さの低減性を、ガウス過程の完全な確率的フレームワークと統合すること。
• 高次元の代替モデルにおいて不確実性評価と予測分散の推定を可能にすること。
• 加法的GPモデルがGAMsと同等またはそれを上回る性能を発揮しつつ、GP固有の利点を保持できることを実証すること。

提案手法

• 全共分散関数を一変量カーネル関数の和に分解する新しい加法的カーネル構造を提案し、得られるGPが構造的に可加となるように保証する。
• 加法的GPの共分散カーネルの解析的表現を導出し、定常性を確保するとともに、可加成分の適切なモデリングを実現する。
• 尤度を部分問題に分離することで、反復的にカーネルパラメータを最適化するリラクスト・尤度最大化（RLM）アルゴリズムを導入し、高次元における収束性を向上させる。
• RLM内での数値最適化にBFGSアルゴリズムを用い、マージナル尤度を最適化する。リラクストステップを組み込み、パラメータ更新の安定性を向上させる。
• 各一変量成分を他の成分に条件づけて逐次更新する階層的パラメータ推定戦略を採用し、可加構造を維持する。
• ラテンハイパーボリュームサンプリング（LHS）を用いた4次元Sobolのg関数の例に本手法を適用し、予測能係数$Q_2$を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程のカーネルに可加構造を直接埋め込むことで、高次元入力空間におけるスケーラビリティと解釈可能性が向上するか？
• RQ2 提案されたRLMに基づくAdditive Krigingの性能は、標準的KrigingおよびGAMとの比較において、予測精度と不確実性評価の観点でどのように差がつくか？
• RQ3 RLMアルゴリズムは、加法的GPモデルにおける標準的尤度最大化に比べ、より安定的かつ効率的なパラメータ推定を提供するか？
• RQ4 加法的カーネル構造は、高次元設定において、予測分散といったGPの確率的性質をどの程度保持するか？
• RQ5 本手法は、Sobolのg関数のように主要効果が強く交互作用が弱い関数を効果的にモデリングできるか？

主な発見

• RLMアルゴリズムは20回のLHS DoE（実験設計）において平均$Q_2$が0.90、標準偏差0.016を達成し、標準的Kriging（$Q_2 = 0.82$）およびULMベースのAdditive Kriging（$Q_2 = 0.88$）を上回った。
• RLMを用いたAdditive Krigingは$Q_2 = 0.90$を達成し、可加モデリングのゴールドスタンダードとされるGAMsと同等の性能を示した。
• 観測ノイズ$ au^2$は初期値から5回のRLM反復を経て0.01に減少し、収束とモデル適合の向上を示した。
• RLMにより得られた一変量サブモデルは、g関数の解析的主効果を1次元プロットでよく再現していた。
• 本手法は高次元設定においても頑健性と安定性を示し、標準的KrigingおよびMarrel法よりも$Q_2$の分散が小さかった。
• Additive Krigingは予測分散を含む完全な確率的フレームワークを保持しており、これは一変量モデルの和にはならないため、個別の1変量メタモデルよりも優れていることを裏付けている。