[論文レビュー] Efficient nonmyopic Bayesian optimization and quadrature.

Shali Jiang, Henry Chai+2 more|arXiv (Cornell University)|Sep 10, 2019

Machine Learning and Algorithms参考文献 34被引用数 5

ひとこと要約

本稿では、最適なバッチ点を計算し、その中から1点を選択することで、短視眼的手法の非効率な妥協を避ける非短視眼的ベイジアン最適化および四則積分フレームワークを提案する。このアプローチは、ベイジアン最適化および四則積分の両タスクにおいて、標準的な1ステップ先近似法よりも優れた性能を達成する。

ABSTRACT

Finite-horizon sequential decision problems arise naturally in many machine learning contexts; examples include Bayesian optimization and Bayesian quadrature. Computing the optimal policy for such problems requires solving Bellman equations, which are generally intractable. Most existing work resorts to myopic approximations by limiting the horizon to only a single time-step, which can perform poorly in balancing exploration and exploitation. We propose a general framework for efficient, nonmyopic approximation of the optimal policy by drawing a connection between the optimal adaptive policy and its non-adaptive counterpart. Our proposal is to compute an optimal batch of points, then select a single point from within this batch to evaluate. We realize this idea for both Bayesian optimization and Bayesian quadrature and demonstrate that our proposed method significantly outperforms common myopic alternatives on a variety of tasks.

研究の動機と目的

• 短視眼的方策の制限を解消すること。短視眼的方策は1ステップ先の意思決定に限定され、探索と活用のバランスを保てないことがある。
• 有限ホライズンの意思決定問題における最適方策の非短視眼的近似の一般枠組みを構築すること。特に、ベイジアン最適化およびベイジアン四則積分に焦点を当てる。
• 最適バッチの構造を活用することで、適応的方策と非適応的方策のギャップを埋めること。
• 非効率な計算を伴わずに、より長いホライズンでの計画を可能にすることで、ベイジアン最適化および四則積分におけるサンプル効率と収束速度を向上させること。

提案手法

• まず、有限ホライズン内で期待情報量増加を最大化する最適な点のバッチを特定することで、非短視眼的方策を定式化する。
• 次に、期待効用と不確実性のバランスを取る選択基準に基づき、そのバッチから1点を選択する。
• 最適な適応的方策とその非適応的対応物との理論的関係を活用し、バッチ最適化による取り扱い可能な近似を可能にする。
• ベイジアン最適化では、バッチ内で期待改善量またはエントロピー低減量を最大化する点を選択し、その後1回の評価を実施する。
• ベイジアン四則積分では、期待統合誤差を最小化する四則積分点のバッチを計算し、その中から1点を評価対象とする。
• 解が困難であるベルマン方程式を解くのを避け、バッチ計算と選択的評価により最適方策を近似する。

実験結果

リサーチクエスチョン

• RQ1 ベルマン方程式の完全な解を求める必要なく、ベイジアン最適化および四則積分において非短視眼的方策を効率的に近似できるか？
• RQ2 最適バッチから1点を選択する戦略が、短視眼的1ステップ先選択と比較して、サンプル効率と収束性にどのように影響するか？
• RQ3 バッチベースの計画が、順次意思決定問題における探索と活用のバランスに与える影響は何か？
• RQ4 適応的方策と非適応的方策の関係を活用することで、スケーラブルな非短視眼的手法を設計できるか？
• RQ5 提案手法は、多様な最適化および統合タスクにおいて、標準的な短視眼的ベースラインを上回るか？

主な発見

• 提案手法は、ベイジアン最適化およびベイジアン四則積分の両タスクにおいて、一般的な短視眼的代替手法を顕著に上回る。
• バッチ最適化と選択的点評価を活用することで、1ステップ先政策よりも優れた収束速度とサンプル効率を達成する。
• 非効率な計算コストを伴わず、より長いホライズンの影響を考慮することで、探索と活用のバランスを効果的にとる。
• 実験的結果は、複数のベンチマークタスクで一貫した改善を示し、非短視眼的バッチ選択戦略の有効性を検証する。
• 特に高次元またはノイズの多い設定において、標準的なベイジアン最適化および四則積分ベンチマークで最先端の性能を達成する。