[論文レビュー] Mean-Variance Analysis in Bayesian Optimization under Uncertainty

Shogo Iwazaki, I. Yu+1 more|arXiv (Cornell University)|Sep 17, 2020

Gaussian Processes and Bayesian Inference参考文献 25被引用数 7

ひとこと要約

本稿では、制御不能な環境的要因が影響を及ぼすブラックボックス関数の平均と分散を同時に最適化する、不確実性下でのアクティブラーニングを目的としたMVA-BO（Mean-Variance Analysis in Bayesian Optimization）というフレームワークを提案する。ガウス過程（GP）を用いて性能関数をモデル化し、平均と分散のリスク指標に対する境界を導出し、マルチタスク・マルチオブジェクティブ・制約付き最適化の各シナリオに特化した獲得関数を構築した。理論的収束性と数値実験における実効性を示した。

ABSTRACT

We consider active learning (AL) in an uncertain environment in which trade-off between multiple risk measures need to be considered. As an AL problem in such an uncertain environment, we study Mean-Variance Analysis in Bayesian Optimization (MVA-BO) setting. Mean-variance analysis was developed in the field of financial engineering and has been used to make decisions that take into account the trade-off between the average and variance of investment uncertainty. In this paper, we specifically focus on BO setting with an uncertain component and consider multi-task, multi-objective, and constrained optimization scenarios for the mean-variance trade-off of the uncertain component. When the target blackbox function is modeled by Gaussian Process (GP), we derive the bounds of the two risk measures and propose AL algorithm for each of the above three problems based on the risk measure bounds. We show the effectiveness of the proposed AL algorithms through theoretical analysis and numerical experiments.

研究の動機と目的

• 制御不能な環境的要因が性能結果に影響を与える環境におけるアクティブラーニングを扱う。
• 不確実性下でのブラックボックス関数の期待性能（平均）とリスク（分散）のトレードオフをモデル化・最適化する。
• 環境的要因が確率変数である場合に、性能関数の平均と分散の両方の不確実性を考慮した獲得関数の開発。
• 非GPな分散関数を扱えるようGP-UCBを拡張し、マルチタスク・マルチオブジェクティブ・制約付き設定でも効率的な最適化を可能にする。
• 提案されたMVA-BOフレームワークの理論的収束保証と実験的妥当性の提供。

提案手法

• 設計パラメータxと環境的要因w（分布p(w)が既知）を用いて、性能関数f(x,w)をガウス過程（GP）としてモデル化する。
• GPの性質を活用して平均の解析的境界を導出し、分散については集中不等式を用いた近似により境界を導出する。
• 導出した境界を用いて、性能の平均と分散の両方の不確実性を組み込んだ、変更されたGP-UCB獲得関数を提案する。
• 3つのシナリオに特化した別個の獲得戦略を設計：(1) 平均と分散の重み付き和最適化、(2) パレートフロンティアの同定、(3) 一方を目的関数、他方を制約として持つ制約付き最適化。
• 離散化とε近似パレート集合推定を用いて、有限反復内での近最適解への収束を保証する。
• 理論的レグレット境界を確立し、問題パラメータと信頼水準に依存する有限反復数T内でε精度のパレート集合に収束することを示した。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン最適化は、環境的不確実性下で性能関数の平均と分散を同時に最適化するためにどのように拡張可能か？
• RQ2 性能関数の分散がGPでなく、直接観測できない状況において、どのように獲得関数を設計すれば効率的なアクティブラーニングが可能か？
• RQ3 マルチタスク・マルチオブジェクティブ・制約付き最適化設定において、期待性能とリスクのトレードオフを効果的に管理するにはどうすればよいか？
• RQ4 提案されたMVA-BOフレームワークにおいて、ε精度のパレート集合への収束についてどのような理論的保証が得られるか？
• RQ5 リスク（分散）が重要な設計基準となる状況において、提案手法が標準的なBOを上回る性能を示すか？

主な発見

• 提案されたMVA-BOフレームワークは、問題の信頼水準δとカーネルの滑らかさに依存する有限反復数T内でε精度のパレート集合に到達する。
• 理論的分析により、アルゴリズムが平均と分散の推定値が真値からそれぞれϵ/2以内に収束することを示し、全体としてのϵ精度を保証する。
• 分散関数が非GPである場合でも、集中に基づく境界を導出することで、有効な不確実性評価が可能である。
• 数値実験により、マルチタスク・マルチオブジェクティブ・制約付き最適化の各シナリオにおいて、提案された獲得関数の有効性が示された。
• フレームワークによりGP-UCBがリスクに配慮した最適化をサポートし、不確実な環境条件下の実世界応用への実用的導入を可能にした。
• アルゴリズムにより、真のパレート集合に属する任意の点が、平均および分散の両方においてε距離以内の近似点として存在することが保証され、耐障害性と信頼性が確保された。