[論文レビュー] Local Gaussian Process Approximation for Large Computer Experiments

Robert B. Gramacy, Daniel W. Apley|arXiv (Cornell University)|Mar 2, 2013

Advanced Multi-Objective Optimization Algorithms参考文献 27被引用数 6

ひとこと要約

本稿では、大規模なコンピュータ実験における局所的ガウス過程近似を提案し、逐次設計を用いて動的に局所予測モデルを構築することで、マルチコアアーキテクチャ上で高速かつ並列化された推論を可能にする。局所的近傍に焦点を当て、効率的な逐次更新を可能にすることで、フルGPモデルと同等の高い予測精度を達成しながら、データサイズに線形にスケーリングされ、コンパクトにサポートされた共分散アプローチを速度と精度の両面で上回る。

ABSTRACT

We provide a new approach to approximate emulation of large computer experiments. By focusing expressly on desirable properties of the predictive equations, we derive a family of local sequential design schemes that dynamically define the support of a Gaussian process predictor based on a local subset of the data. We further derive expressions for fast sequential updating of all needed quantities as the local designs are built-up iteratively. Then we show how independent application of our local design strategy across the elements of a vast predictive grid facilitates a trivially parallel implementation. The end result is a global predictor able to take advantage of modern multicore architectures, providing a nonstationary modeling feature as a bonus. We demonstrate our method on two examples utilizing designs with thousands of data points, and compare to the method of compactly supported covariances.

研究の動機と目的

• 大規模なコンピュータ実験におけるフルガウス過程モデルの計算上的非現実性に対処すること。
• ステーションナリティを仮定せず、スケーラブルで並列化可能な高精度な予測を実現する手法を開発すること。
• 大規模なエミュレーションにおける局所的予測モデルの効率的で逐次的な設計と更新を可能にすること。
• フルGPやコンパクトにサポートされた共分散手法の計算的に取り扱いやすい代替手法を提供すること。
• 局所的非ステーションナリティモデリングが、グローバルなステーションナリティ近似を上回る予測性能を達成できることを示すこと。

提案手法

• 各クエリ点 x の周囲に局所的予測モデルを構築し、予測分散の低減に基づいて最も情報量の多いデータ点を逐次的に選択する。
• 予測分散の低減に基づくグリーディーなアクティブラーニング基準を用い、最適な局所的サポートを保証するように逐次的に局所設計を構築する。
• 平均、分散、相関などのすべての必要量は、新しい点が局所設計に追加されるたびに閉形式で効率的に更新される。
• 大規模な入力点グリッド上で予測を容易に並列化でき、ノード間の通信が不要である。
• 共分散族に依存せず、任意の解析的に微分可能なカーネルと組み合わせて使用可能であるが、説明のため単純な二乗指数カーネルを用いている。
• トーピングやグローバル基底関数を避けており、計算効率と非ステーションナリティを維持するために、離散的かつ局所的なサポートに依存している。

実験結果

リサーチクエスチョン

• RQ1 局所的で逐次的設計戦略は、大規模なコンピュータ実験において、計算的に効率的である一方で高い予測精度を達成できるか？
• RQ2 コンパクトにサポートされた共分散（CSC）手法と比較して、局所的GP近似の速度と精度の性能はどの程度か？
• RQ3 予測分散の低減に基づく局所的設計戦略は、標準的な最近傍法アプローチを上回る予測精度を達成できるか？
• RQ4 局所的非ステーションナリティモデリングは、単純な局所的カーネル構造に対してどの程度の補完的効果を発揮できるか？
• RQ5 通信オーバーヘッドがなく、大規模な予測グリッド上で局所的設計アプローチを効率的に並列化できるか？

主な発見

• 8,000点のボアホール実験において、局所的GP近似はRMSEが0.787に達し、フルGP手法と同等の性能を示したが、コンパクトにサポートされた共分散（CSC）手法と比べて100倍以上高速であった。
• データサイズに比例して線形にスケーリングされ、10,000点のデータセットにおいては、alc2では92.3秒、mspe2では169.1秒に増加したが、CSC手法は26,000秒以上を要した。
• 局所的アプローチは$√{1-\mathrm{NSE}}$が0.0173に達し、強力な予測性能を示した。ボアホール例では、最近傍法およびCSCバージョンをすべて上回る精度を達成した。
• OpenMPによる並列化でほぼ線形のスループット向上を示し、大規模な入力点グリッド上で予測を容易に並列化可能であった。
• 予測分散の低減に基づく局所的設計戦略は、同じ局所的設計サイズにおいて、単純な最近傍法の局所的設計を常に上回る予測精度を示した。
• 単純な二乗指数カーネルを採用しても、より洗練されたCSC手法を上回る性能を示し、局所モデリングにおける非ステーションナリティの利点を実証した。