[論文レビュー] Some properties of nested Kriging predictors

François Bachoc, Nicolas Durrande+2 more|arXiv (Cornell University)|Jul 13, 2017

Advanced Multi-Objective Optimization Algorithms参考文献 3被引用数 7

ひとこと要約

この論文は、大規模なコンピュータ実験におけるクリギング部分モデルの集合手法を分析し、標準的な分散ベースの集合手法が一貫性のない結果をもたらすことを示している。これに対して、ネストドクリギング予測子は部分モデル間の相関を考慮することで一貫性を確保し、正確な条件付き分布と効率的な事後分散の計算を可能にする。さらに、ユニバーサルクリギングや測定誤差の設定にも拡張可能である。

ABSTRACT

Kriging is a widely employed technique, in particular for computer experiments, in machine learning or in geostatistics. An important challenge for Kriging is the computational burden when the data set is large. This article focuses on a class of methods aiming at decreasing this computational cost, consisting in aggregating Kriging predictors based on smaller data subsets. It proves that aggregation methods that ignore the covariancebetween sub-models can yield an inconsistent final Kriging prediction. In contrast, a theoretical study of the nested Kriging method shows additional attractive properties for it: First, this predictor is consistent, second it can be interpreted as an exact conditional distribution for a modified process and third, the conditional covariances given the observations can be computed efficiently. This article also includes a theoretical and numerical analysis of how the assignment of the observation points to the sub-models can affect the prediction ability of the aggregated model. Finally, the nested Kriging method is extended to measurement errors and to universal Kriging.

研究の動機と目的

• 大規模データセットにおける完全クリギングの計算不能性に対処するため、スケーラブルな集合手法の開発。
• 部分モデル間の相関を無視する分散のみの集合手法の限界を特定し、一貫性のない予測を引き起こす要因を明らかにすること。
• 大規模データに対して理論的整合性と計算効率を有するネストドクリギング予測子（NPAE）の確立。
• 計算効率を維持したまま、測定誤差とユニバーサルクリギングを扱えるようにネストドクリギングフレームワークを拡張すること。
• 観測点の部分モデルへの割り当てが予測精度とモデル性能に与える影響の調査。

提案手法

• 部分モデルの間の共分散を明示的にモデル化する階層的構造を用いて、部分モデルを統合するネストドクリギング予測子（NPAE）を提案。
• 部分モデルの予測の逆共分散行列から導かれる重みによる重み付き和として、統合予測子を導出。
• 標準的な分散のみの集合手法とは異なり、弱い正則性条件の下でネストドクリギング予測子が一貫性を示すことを証明。
• ネストドクリギング予測子が修正されたガウス過程事前分布の正確な条件付き期待値に一致することを示す。
• 統合予測子の条件付き分散に対して閉形式の式を提供し、効率的な事後サンプリングを可能にする。
• 集合ステップで定数平均をモデル化することで、ユニバーサルクリギングへの拡張を実現し、更新された重みおよび分散の式を導出。

実験結果

リサーチクエスチョン

• RQ1 観測数が非常に多い場合、クリギング部分モデルの集合手法は一貫性のある予測を提供できるか？
• RQ2 部分モデル分散のみに依存する標準的手法が一貫性を欠く理由は何か？
• RQ3 ネストドクリギング予測子（NPAE）が一貫性と計算効率を保証する理論的性質は何か？
• RQ4 観測点の部分モデルへの割り当てが、統合モデルの予測精度に与える影響は何か？
• RQ5 測定誤差モデルやユニバーサルクリギングに拡張されたネストドクリギングフレームワークは、計算コストを増加させることなく実現可能か？

主な発見

• 部分モデル間の相関を無視する集合手法は、予測子間の依存関係を考慮しないため、一貫性に欠ける。
• ネストドクリギング予測子は一貫性を示し、修正されたガウス過程事前分布の正確な条件付き期待値に一致する。
• ネストドクリギング予測子の条件付き分散は効率的に計算可能であり、事後サンプリングと不確実性の定量化を可能にする。
• 計算複雑度が $ O(n^3/p^2 + n^2 + p^3) $ かつ記憶領域が $ O(n) $ に抑えられ、$ p hicksim n^{1/2} $ の場合にスケーラブルである。
• ユニバーサルクリギングおよび測定誤差モデルに拡張した場合でも、ネストドクリギング予測子は一貫性と効率性を維持する。
• 数値的証拠から、部分モデル間で観測点をクラスタリングすることで、ランダム割り当てよりも予測性能が向上することが示唆される。