[論文レビュー] ADDITIVE COVARIANCE KERNELS FOR HIGH-DIMENSIONAL GAUSSIAN PROCESS MODELING

Nicolas Durrande, David Ginsbourger+1 more|arXiv (Cornell University)|Nov 27, 2011

Advanced Multi-Objective Optimization Algorithms参考文献 15被引用数 56

ひとこと要約

本稿では、次元の呪いを軽減するため、高次元ガウス過程モデルに適した加法的共分散カーネルを提案する。共分散構造を加法的成分に分解することにより、予測精度を維持しながら計算コストを低減するスケーラブルで解釈可能なクリギングモデルの構築が可能になる。

ABSTRACT

Gaussian process models -also called Kriging models- are often used as mathematical approximations of expensive experiments. However, the number of observation required for building an emulator becomes unrealistic when using classical covariance kernels when the dimension of input increases. In oder to get round the curse of dimensionality, a popular approach is to consider simplified models such as additive models. The ambition of the present work is to give an insight into covariance kernels that are well suited for building additive Kriging models and to describe some properties of the resulting models.

研究の動機と目的

• 高次元入力空間における標準的ガウス過程モデルの計算上的非現実性に対処すること。
• スケーラビリティと解釈可能性を向上させるために、加法的クリギングモデルに特化した共分散カーネルの開発。
• ガウス過程における加法的共分散構造の性質について、理論的および実用的洞察の提供。
• 高次元入力を有する高価なコンピュータ実験の効率的エミュレーションを、構造化された共分散分解によって実現すること。

提案手法

• 各入力次元からの独立寄与をもつ総合的共分散を分解する、加法的共分散カーネルのクラスを提案する。
• 各変数に対して作用する単変量共分散関数の和としてカーネルを構築する。
• 得られたカーネルが正定値であり、ガウス過程回帰に適していることを保証する。
• フルランクカーネルと比較して、ハイパーパrameter数と計算複雑性を低減するため、加法的構造を活用する。
• 加法的分解によって生じる条件付き独立構造を活用し、効率的な推論と予測を可能にする。
• 入力次元が高くても、関数が近似的に加法的である可能性があるコンピュータ実験およびエミュレーションタスクにこのフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 どのように共分散カーネルを構造化することで、高次元入力空間における効率的かつ解釈可能なガウス過程モデリングを可能にするか？
• RQ2 クリギングの文脈において、加法的共分散カーネルの理論的および実用的性質は何か？
• RQ3 加法的カーネル構造は、予測精度を保持しつつ、計算コストをどの程度低減できるか？
• RQ4 真の関数が厳密に加法的でない場合でも、加法的カーネルは近似的に加法的関数を効果的にモデル化できるか？
• RQ5 スケーラビリティおよびモデルの解釈可能性の観点から、加法的カーネルフレームワークは、標準的フルランク共分散カーネルと比べてどのように異なるか？

主な発見

• フルランクカーネルと比較して、加法的共分散カーネルは必要なハイパーパrameter数を顕著に削減し、モデルのスケーラビリティを向上させる。
• 加法的構造のおかげで、高次元設定においても事後予測およびマージン付き尤度の計算が効率的に行える。
• 単純化された仮定にもかかわらず、近似的に加法的である関数においても、良好な予測性能を維持する。
• 個々の入力次元が全体の共分散構造に独立して寄与できるため、解釈可能なモデリングを支援する。
• 単変量カーネル成分に若干の条件を課すだけで、正定値性などの理論的性質が保たれる。
• 実験的結果により、加法的カーネルは、高次元テスト関数において、精度に顕著な損失を伴わずに、計算効率性において標準的カーネルを上回ることが示された。