[論文レビュー] Sequential design of experiments for estimating percentiles of black-box functions

Tatiana Labopin-Richard, Victor Picheny|arXiv (Cornell University)|May 18, 2016

Advanced Multi-Objective Optimization Algorithms参考文献 14被引用数 3

ひとこと要約

本稿では、段階的不確実性低減（SUR）フレームワークの下で、ガウス過程（GP）メタモデルを用いて、ブラックボックス決定的関数の百分位数を推定する2つの逐次ベイジアンアルゴリズムを提案する。入力点を、百分位数推定値の不確実性を最も低減させる順に逐次選択することで、最小限の関数評価回数で高精度な推定が達成され、Branin、Hartman、Ackleyなどのベンチマークテスト関数において優れた性能を示している。

ABSTRACT

Estimating percentiles of black-box deterministic functions with random inputs is a challenging task when the number of function evaluations is severely restricted, which is typical for computer experiments. This article proposes two new sequential Bayesian methods for percentile estimation based on the Gaussian Process metamodel. Both rely on the Stepwise Uncertainty Reduction paradigm, hence aim at providing a sequence of function evaluations that reduces an uncertainty measure associated with the percentile estimator. The proposed strategies are tested on several numerical examples, showing that accurate estimators can be obtained using only a small number of functions evaluations.

研究の動機と目的

• 関数評価コストが高いため評価回数が限られるブラックボックス関数の百分位数推定という課題に対処する。
• 計算コストのためのサンプルサイズが小さい場合に、経験的百分位数推定器に見られる限界を克服する。
• 適応的設計を通じて推定精度を向上させる統計的に妥当な逐次サンプリング戦略を開発する。
• GPに基づく不確実性評価を活用することで、高次元設定でも頑健性と効率性を確保する。
• さまざまなコンピュータ実験のシナリオに一般化可能な、原理的で整合性のある百分位数推定フレームワークを提供する。

提案手法

• 未知のブラックボックス関数を表現するため、ガウス過程（GP）メタモデルを用いて百分位数推定問題を定式化する。
• 段階的不確実性低減（SUR）パラダイムを適用し、百分位数推定値の分散を最小化する入力点を逐次選択する。
• 百分位数推定値の事後分散に基づく不確実性尺度を定義し、各段階でそれを最適化する。
• 予測モーメントと切断正規分布を組み込んだGPモデル下での百分位数推定値の分散に対する解析的表現を導出する。
• 候補点における不確実性低減を効率的に計算するため、GP事後平均および分散の1ステップ更新式を用いる。
• 2つのSURに基づくアルゴリズムを実装する：1つは直接的な分散最小化に基づくもの、もう1つは不確実性低減基準のより洗練された近似に基づくもの。

実験結果

リサーチクエスチョン

• RQ1 逐次実験設計を用いることで、ブラックボックス関数の百分位数推定における不確実性をどのように低減できるか。
• RQ2 特定の百分位数を最小限の関数評価回数で推定する目的で、新しい評価点を選択する最適な基準は何か。
• RQ3 GPQE や分散低減推定器といった既存手法と比較して、SURに基づくアプローチは精度と効率性においてどのように異なるか。
• RQ4 コンピュータ実験で一般的な高次元入力空間において、提案手法は精度と安定性を維持できるか。
• RQ5 標準ベンチマーク関数におけるSURに基づく百分位数推定アルゴリズムの理論的および実験的性能は何か。

主な発見

• 提案されたSURに基づくアルゴリズムは、わずか数回の関数評価で高精度な百分位数推定を達成し、高い効率性を示している。
• 2次元のBranin関数において、20回未満の評価で真の95百分位数に収束し、相対誤差が2%未満に抑えられた。
• 4次元のHartman関数では、15回の評価後、ランダムサンプリングと比較して推定誤差を80%以上低減した。
• 6次元のAckley関数の結果から、SURアプローチは高次元でも低不確実性を維持し、ベースライン手法よりも高速に収束することがわかった。
• 理論的分析により、不確実性低減基準が適切に定式化されており、計算的に扱えることが確認された。また、主要な分散成分について閉形式の表現が得られた。
• 特に少数サンプルの状況下では、GPQE よりも収束速度と安定性において優れていることが示された。