[論文レビュー] A supermartingale approach to Gaussian process based sequential design of experiments

Julien Bect, François Bachoc+1 more|Bern Open Repository and Information System (University of Bern)|Aug 3, 2016

Advanced Multi-Objective Optimization Algorithms被引用数 5

ひとこと要約

本稿は、ガウス過程に基づく逐次実験設計、特に段階的不確実性低減（SUR）戦略に対して、ほとんど確実な一致性を確立するためのスーパーマルティングレットフレームワークを導入する。著者らは、残差不確実性測度がスーパーマルティングレットを形成することを証明し、グローバル最適化、エクスカージョン集合推定、信頼性分析に適用可能な一般的な一貫性結果を導出する。これは、エクスカージョン集合を標的とするSUR戦略に対する最初の一致証明であり、連続なサンプルパスを有する期待改善のより一般的な証明を提供する。

ABSTRACT

Gaussian process (GP) models have become a well-established frameworkfor the adaptive design of costly experiments, and notably of computerexperiments. GP-based sequential designs have been found practicallyefficient for various objectives, such as global optimization(estimating the global maximum or maximizer(s) of a function),reliability analysis (estimating a probability of failure) or theestimation of level sets and excursion sets. In this paper, we studythe consistency of an important class of sequential designs, known asstepwise uncertainty reduction (SUR) strategies. Our approach relieson the key observation that the sequence of residual uncertaintymeasures, in SUR strategies, is generally a supermartingale withrespect to the filtration generated by the observations. Thisobservation enables us to establish generic consistency results for abroad class of SUR strategies. The consistency of several popularsequential design strategies is then obtained by means of this generalresult. Notably, we establish the consistency of two SUR strategiesproposed by Bect, Ginsbourger, Li, Picheny and Vazquez (Stat. Comp.,2012)---to the best of our knowledge, these are the first proofs ofconsistency for GP-based sequential design algorithms dedicated to theestimation of excursion sets and their measure. We also establish anew, more general proof of consistency for the expected improvementalgorithm for global optimization which, unlike previous results inthe literature, applies to any GP with continuous sample paths.

研究の動機と目的

• 広範なガウス過程に基づく逐次設計戦略のクラスに対して、一般的な一貫性結果を確立すること。
• 特にエクスカージョン集合および測度推定を標的とする、人気のあるSUR戦略に対する理論的一致証明の欠如に取り組むこと。
• 共分散関数に制限的仮定を課さないで、期待改善の既存の一貫性結果を一般化すること。
• 逐次設計における不確実性低減系列のスーパーマルティングレット性を形式化すること。
• 適応的実験設計の収束を分析するための統一された確率的枠組みを提供すること。

提案手法

• 著者らは、SUR戦略における残差不確実性測度の系列を、観測によって生成されるフィルトレーションに関してスーパーマルティングレットとしてモデル化する。
• 彼らはスーパーマルティングレット収束定理を用いて、弱い正則性条件のもとで不確実性測度が0にほとんど確実に収束することを証明する。
• このフレームワークは、測度可能で、逐次観測のもとでスーパーマルティングレット性を満たす任意の不確実性関数に適用可能である。
• この手法は、最適点のランダムな閉集合から有効なサンプリング戦略を構築するために測度可能選択定理に依存する。
• 主な技術的ツールには、条件付き分布の使用と、最適設計点の存在を保証するためのサンプリング基準の連続性仮定が含まれる。
• このアプローチは、グローバル最適化、信頼性分析、レベル集合推定、エクスカージョン集合推定という4つの代表的問題への適用によって検証されている。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程モデルに対して、一般条件下で段階的不確実性低減（SUR）戦略の一貫性を確立できるか？
• RQ2 連続なサンプルパスを有する任意のガウス過程に対して、期待改善アルゴリズムはほとんど確実に収束するか？
• RQ3 不確実性低減が逐次設計において行われる場合、残差不確実性のほとんど確実な収束を保証する一般的な条件は何か？
• RQ4 スーパーマルティングレット性を用いて、多様な実験設計目的における一致証明を統一できるか？
• RQ5 エクスカージョン集合およびその測度を標的とするSUR戦略の収束の理論的基盤は何か？

主な発見

• 本稿は、エクスカージョン集合およびその測定値の推定を標的とするガウス過程に基づく逐次設計戦略に対する、最初のほとんど確実な一貫性証明を確立する。
• 残差不確実性測度の系列がスーパーマルティングレットを形成することを示すことにより、SUR戦略の一般的な一貫性結果が導出される。
• 連続なサンプルパスを有する任意のガウス過程に対して、期待改善アルゴリズムが、空の球（NEB）性質を仮定せずとも一貫することを証明する。
• 最小限の仮定のもとで、グローバル最適化、信頼性分析、レベル集合推定など、広範な目的にこのフレームワークが適用可能である。
• スーパーマルティングレット性により、多様な逐次設計パラダイムにおける収束の統一的理論的分析が可能になる。
• 測度可能選択定理により、サンプリング基準が不連続であっても、最適設計点の存在が保証される。