[論文レビュー] Efficient Exploration in Binary and Preferential Bayesian Optimization

Tristan Fauvel, Matthew Chalk|arXiv (Cornell University)|Oct 18, 2021

Gaussian Processes and Bayesian Inference参考文献 23被引用数 8

ひとこと要約

本稿では、目的関数に関する知識的不確実性（エピステミック不確実性）と、ノイズのある二値観測からの不確実性（アレアトリック不確実性）を区別することにより、二値および順序付きベイズ最適化における効率的探索の原理的アプローチを提案する。エピステミック不確実性が高く、アレアトリック不確実性が低い領域を優先するような獲得関数を設計することで、計算効率が高く、バッチ設定への拡張も可能な一方で、最先端のヒューリスティクスを上回る性能を達成する。

ABSTRACT

Bayesian optimization (BO) is an effective approach to optimize expensive black-box functions, that seeks to trade-off between exploitation (selecting parameters where the maximum is likely) and exploration (selecting parameters where we are uncertain about the objective function). In many real-world situations, direct measurements of the objective function are not possible, and only binary measurements such as success/failure or pairwise comparisons are available. To perform efficient exploration in this setting, we show that it is important for BO algorithms to distinguish between different types of uncertainty: epistemic uncertainty, about the unknown objective function, and aleatoric uncertainty, which comes from noisy observations and cannot be reduced. In effect, only the former is important for efficient exploration. Based on this, we propose several new acquisition functions that outperform state-of-the-art heuristics in binary and preferential BO, while being fast to compute and easy to implement. We then generalize these acquisition rules to batch learning, where multiple queries are performed simultaneously.

研究の動機と目的

• 標準の獲得関数が異なる不確実性タイプを混同するため、二値および順序付きベイズ最適化における非効率的探索の課題に対処すること。
• 二値観測における削減可能ないし不可避な不確実性（エピステミック不確実性とアレアトリック不確実性）を区別することで、最適化の効率を向上させること。
• 高いエピステミック不確実性だが観測ノイズが低い領域を優先する、高速で解析的に取り扱える獲得関数を開発すること。
• 複数のクエリを同時に実行するバッチ学習設定にこのアプローチを一般化し、相関の高い、不十分な探索を避けること。
• ベンチマーク評価において、bivariate EI や Duel Thompson Sampling や KernelSelfSparring といった既存の最先端手法を上回ること。

提案手法

• 合計不確実性をエピステミック成分とアレアトリック成分に分解し、ガウス過程分類におけるエピステミック不確実性の解析的表現を用いる。
• エピステミック不確実性を最大化するとともにアレアトリック不確実性を最小化する獲得関数を定式化し、不確実性が情報的である場所でのみ探索が行われることを保証する。
• 二値BOでは、ベルヌーイ観測確率の分散 $\mathbb{V}_{p(f|\mathscr{D})}[\Phi(f(\boldsymbol{x}))]$ から獲得関数を導出しており、これは解析的に計算可能である。
• 順序付きBOでは、最初の対戦メンバーを期待効用（活用）に基づいて選択し、2番目のメンバーをエピステミック不確実性（探索）に基づいて選択することで、Thompson Sampling や bivariate EI よりも優れた性能を達成する。
• バッチ拡張では、1つの探索基準に基づいて、バッチのうち1人を除く全員を同時に選択する。これにより相関が低減され、カバレッジが向上する。
• ガウス過程の事前分布に、ラプラス近似またはEP近似を用いて、効率的な事後分布推論と獲得関数計算を実現する。

実験結果

リサーチクエスチョン

• RQ1 エピステミック不確実性とアレアトリック不確実性を区別することで、二値ベイズ最適化における探索をどのように改善できるか？
• RQ2 エピステミック不確実性を優先し、高いアレアトリック不確実性を避ける獲得関数は、BBOおよびPBOにおいて収束をより速くすることができるか？
• RQ3 提案手法は、順序付きBOにおける既存の最先端の獲得関数（bivariate EI や Duel Thompson Sampling）と比較して、どのように異なるか？
• RQ4 相関の高い重複するクエリを生じさせることなく、探索戦略をバッチ学習に一般化できるか？
• RQ5 潜在空間ではなく観測空間で動作させることで、二値および順序付きBOにおいてより優れた性能が得られるか？

主な発見

• 提案された獲得関数は、二値および順序付きベイズ最適化において、最先端のヒューリスティクスを上回り、特に局所的最大値への過剰な活用を低減する点で優れた性能を示す。
• ベンチマーク関数において、bivariate EI や Duel Thompson Sampling よりも優れた最適化性能を達成し、収束が速く、サンプル効率も向上している。
• エピステミック不確実性の分散の解析的導出により、高価なモンテカルロ近似を避ける高速で安定した計算が可能になった。
• バッチ獲得ルールは、探索に基づく1つの基準から全員（1人を除く）を同時に選択するため、相関が低く、独立なサンプリング手法に比べてカバレッジが向上する。
• 実験的結果から、潜在空間に定義された獲得関数は、潜在変動が大きくても観測に対して高い信頼度を持つため、しばしば非効率な探索を引き起こすことが判明した。本手法はこの欠陥を是正している。
• 本手法はバッチPBOに対しても効果的に一般化され、相関の高い選択を避けることで、より多様な探索が可能となり、KernelSelfSparring や関連するTSベースのバッチ手法を上回る性能を発揮する。