[論文レビュー] Why Non-myopic Bayesian Optimization is Promising and How Far Should We Look-ahead? A Study via Rollout

Xubo Yue, Raed Al Kontar|arXiv (Cornell University)|Nov 4, 2019

Advanced Bandit Algorithms Research参考文献 30被引用数 7

ひとこと要約

本稿では、短時間先の先行計画を活用することで、マイナス的アプローチに比べて優れた性能を示す、非マイナス的ベイジアン最適化のロールアウトベースの手法を提案する。この手法は、逐次的改善ヒューリスティクスの下でロールアウトがマイナス的方策を常に上回ることを証明し、ロールアウトのホライズンを選択するための理論的根拠を提供する。誤差伝搬が最小限に抑えられ、計算コストも低い優れた性能を示す。

ABSTRACT

Lookahead, also known as non-myopic, Bayesian optimization (BO) aims to find optimal sampling policies through solving a dynamic program (DP) that maximizes a long-term reward over a rolling horizon. Though promising, lookahead BO faces the risk of error propagation through its increased dependence on a possibly mis-specified model. In this work we focus on the rollout approximation for solving the intractable DP. We first prove the improving nature of rollout in tackling lookahead BO and provide a sufficient condition for the used heuristic to be rollout improving. We then provide both a theoretical and practical guideline to decide on the rolling horizon stagewise. This guideline is built on quantifying the negative effect of a mis-specified model. To illustrate our idea, we provide case studies on both single and multi-information source BO. Empirical results show the advantageous properties of our method over several myopic and non-myopic BO algorithms.

研究の動機と目的

• モデルの誤指定による誤差伝搬の問題に取り組むこと。
• ベイジアン最適化における不確実な動的計画問題に対するロールアウトを、非最適な近似として理論的に正当化すること。
• ロールアウトベースの非マイナス的BOにおけるロールホライズンの選択に関する実用的ガイドラインを開発すること。
• 短時間先の先行計画によるロールアウトが、マイナス的および長時間ホライズンの非マイナス的手法を上回ることを実験的に検証すること。
• 単一および複数情報源のベイジアン最適化設定において、ロールアウトの有効性を示すこと。

提案手法

• 著者らは、ベイジアン最適化における不確実な先行計画問題を解消するため、動的計画の部分的近似であるロールアウトを用いる。
• ロールアウトは、問題固有のヒューリスティクスを用いてロールホライズン内で将来のステップをシミュレートし、長期的計画の価値を近似する。
• 逐次的改善ヒューリスティクスのクラスの下で、ロールアウトがマイナス的対応策を常に上回ることを証明する。
• ロールアウトが改善されるための理論的条件を導出し、性能保証を提供する。
• モデルの誤指定による悪影響を定量化することで、各段階におけるロールホライズンの選択に関する実用的ガイドラインを開発する。
• 本手法は、単一および複数情報源のベイジアン最適化に適用され、ベンチマーク問題を用いた実験的検証が行われた。

実験結果

リサーチクエスチョン

• RQ1 ロールアウトベースの非マイナス的ベイジアン最適化は、マイナス的手法に対する理論的改善として正当化できるか？
• RQ2 誤差伝搬と性能のバランスをとるために、ロールアウトベースの非マイナス的BOにおけるロールホライズンの選択に、理論的根拠はあるか？
• RQ3 モデルの誤指定下で、ロールアウトベースの非マイナス的BOの性能は、マイナス的および長時間ホライズンの非マイナス的手法と比較してどうなるか？
• RQ4 短時間先の先行計画によるロールアウトは、計算コストと最適化性能の間で有利なトレードオフを提供するか？
• RQ5 提案手法は、複数情報源のベイジアン最適化設定を効果的に扱えるか？

主な発見

• 逐次的改善ヒューリスティクスを用いる場合、ロールアウトは理論的にマイナス的ベイジアン最適化を常に上回ることが保証される。
• 提案されたロールホライズン選択ガイドラインは、長期的報酬とモデル誤指定による誤差伝搬の両方を効果的にバランスさせる。
• 実験結果から、ロールアウトベースの手法が収束速度および最終的な解の質において、マイナス的および非マイナス的ベースラインを上回ることが示された。
• 短時間先の先行計画（例：2〜3ステップ）は、計算効率が高く、モデル誤差に対しても頑健である一方で、顕著な性能向上をもたらす。
• 本手法は、単一および複数情報源のベイジアン最適化において優れた性能を示し、一般化可能性が裏付けられた。
• 本研究は、提案されたホライズン選択ルールに従うことで、ロールアウトによる非マイナス的ベイジアン最適化が有望で実用的であることを確認した。