[論文レビュー] A New Knowledge Gradient-based Method for Constrained Bayesian Optimization

Wenjie Chen, Shengcai Liu+1 more|arXiv (Cornell University)|Jan 20, 2021

Advanced Multi-Objective Optimization Algorithms参考文献 33被引用数 6

ひとこと要約

本稿では、評価が高価でノイズの多いブラックボックスの目的関数および制約関数を扱うために、知識勾配フレームワークを拡張した新しい制約付きベイesian最適化手法、c-KGを提案する。最適性と実行可能性のバランスを取る新しい獲得関数を導入し、IPAとLRを用いた不偏勾配推定を組み合わせることで、不確実性下での効率的なバッチサンプリングを可能にする。

ABSTRACT

Black-box problems are common in real life like structural design, drug experiments, and machine learning. When optimizing black-box systems, decision-makers always consider multiple performances and give the final decision by comprehensive evaluations. Motivated by such practical needs, we focus on constrained black-box problems where the objective and constraints lack known special structure, and evaluations are expensive and even with noise. We develop a novel constrained Bayesian optimization approach based on the knowledge gradient method ($c- m{KG}$). A new acquisition function is proposed to determine the next batch of samples considering optimality and feasibility. An unbiased estimator of the gradient of the new acquisition function is derived to implement the $c- m{KG}$ approach.

研究の動機と目的

• 評価が高価でノイズが強く、複数のパフォーマンス指標と確率的制約を伴うブラックボックスシステムの最適化という課題に取り組む。
• 制約付きベイesian最適化において、実行可能性と最適性を統合した新しい獲得関数を開発し、ノイズのある制約を扱えるように知識勾配法を拡張する。
• c-KG獲得関数における内側最適化問題を定式化することで、制約付き最適化における効率的なバッチサンプリングを実現する。
• 無偏勾配推定を用いてc-KG獲得関数の勾配を効率的に推定する手法を提供し、確率的最適化を支援する。
• ドラッグディスカバリーや材料設計、不確実性下でのシミュレーションベースのシステム最適化といった実世界の応用において、収束性と実行可能性を向上させる。

提案手法

• 最適性と実行可能性の確率を統合することで、制約付き問題に一般化された知識勾配を拡張する新しい獲得関数c-KGを提案する。
• 将来的な観測を条件とした最適な目的関数値の期待改善量として獲得関数を定式化し、制約の満たし方を考慮する。
• IPAとLRのハイブリッド手法を用いてc-KGの不偏勾配推定を導出し、バッチ選択のための確率的勾配上昇を可能にする。
• c-KGを最大化するための内側最適化問題を解くために、複数の初期点を用いた確率的勾配上昇アルゴリズムを用いる。
• 目的関数および制約関数にガウス過程事前分布を組み込み、観測データに従って事後分布を逐次更新する。
• 各反復で、GP事後平均を用いた制約付き非線形プログラミングにより、最良の実行可能解を推定するフレームワークを実装する。

実験結果

リサーチクエスチョン

• RQ1 高価でノイズの強い評価を伴うブラックボックス最適化において、知識勾配の原則を確率的制約に効果的に拡張できるか？
• RQ2 制約付きベイesian最適化において、最適性と実行可能性を同時にバランスさせる獲得関数をどのように設計できるか？
• RQ3 インジケータ関数とガウス過程事後分布を含む複雑な獲得関数の勾配を、効率的かつ不偏に推定する方法は何か？
• RQ4 ノイズのある条件下で、提案手法c-KGは既存の制約付きベイesian最適化手法と比較して収束性と実行可能性に優れているか？
• RQ5 目的関数と制約の不確実性を考慮した、取り扱いやすく微分可能な獲得関数を通じて、バッチサンプリングを効果的に可能にすることができるか？

主な発見

• 提案されたc-KG獲得関数は、実行可能性と最適性を1つの取り扱いやすい目的関数に統合し、制約付き探索空間の効果的な探索を可能にした。
• ハイブリッドIPA-LR勾配推定器は、c-KG勾配の不偏推定を提供し、獲得関数の信頼性ある確率的最適化を可能にした。
• ノイズの強い評価や既知の関数的構造がない環境においても、制約付き最適化タスクにおける収束性と実行可能性が向上した。
• 実験結果から、c-KGは、特に多制約および高ノイズ環境下で、ベースライン手法よりも少ない関数評価回数で実行可能で高品質な解を効果的に発見していることが示された。
• アルゴリズムフレームワークはバッチサンプリングをサポートしており、複数の候補を並列で評価できるため、高価な実世界の応用において極めて重要である。
• 理論的分析により、勾配推定器が弱い正則性仮定の下で不偏性と収束性を満たすことが確認された。