[論文レビュー] Cautious Bayesian Optimization for Efficient and Scalable Policy Search

Lukas P. Fröhlich, Melanie N. Zeilinger+1 more|arXiv (Cornell University)|Nov 18, 2020

Advanced Bandit Algorithms Research参考文献 42被引用数 5

ひとこと要約

本稿では、サンプル効率性と高次元ロボティクスタスクにおけるシステムの安全性を向上させるために、ベイジアンスラムモデルの予測不確実性の部分集合（サブレベル集合）に政策探索を制約する、慎重なベイジアン最適化（CBO）を提案する。低不確実性領域に限定して最適化を行うことで、100次元を超える空間においてもスケーラブルで安定した政策学習が可能となり、実世界およびシミュレーションから現実への応用において、標準的なBOを上回る性能を発揮する。

ABSTRACT

Sample efficiency is one of the key factors when applying policy search to real-world problems. In recent years, Bayesian Optimization (BO) has become prominent in the field of robotics due to its sample efficiency and little prior knowledge needed. However, one drawback of BO is its poor performance on high-dimensional search spaces as it focuses on global search. In the policy search setting, local optimization is typically sufficient as initial policies are often available, e.g., via meta-learning, kinesthetic demonstrations or sim-to-real approaches. In this paper, we propose to constrain the policy search space to a sublevel-set of the Bayesian surrogate model's predictive uncertainty. This simple yet effective way of constraining the policy update enables BO to scale to high-dimensional spaces (>100) as well as reduces the risk of damaging the system. We demonstrate the effectiveness of our approach on a wide range of problems, including a motor skills task, adapting deep RL agents to new reward signals and a sim-to-real task for an inverted pendulum system.

研究の動機と目的

• 高次元の政策探索空間において、標準的なベイジアン最適化（BO）のスケーラビリティの低さを解決すること。
• 予測不確実性が低い領域への探索制限により、政策最適化中のシステム損傷のリスクを低減すること。
• 限られたデータでの実世界のロボティクスアプリケーションにおける効率的で安定した政策学習を可能にすること。
• シミュレーションから現実への適応や、深層強化学習エージェントのファインチューニングを含むスケーラブルな政策転送を支援すること。
• 局所的探索領域で動作させながらも、メタラーニングやデモンストレーションから得た事前政策を活用することで、サンプル効率性を維持すること。

提案手法

• 本手法は、ベイジアンスラムモデルの予測不確実性のサブレベル集合に政策更新を制限する。この集合は、不確実性がしきい値未満である点の集合として定義される。
• この制約により、モデルが自信を持つ領域でのみ最適化が行われるため、危険または破壊的な行動のリスクが低減される。
• 獲得関数は不確実性制約のもとで最適化され、結果として探索は安全で高信頼性のある領域に限定される。
• 本手法は標準的なBOフレームワークと互換性があり、既存のポリシー勾配法や進化的戦略と自然に統合できる。
• 最適化の過程で不確実性しきい値を動的に調整することで、安全な範囲内で探索と活用のバランスを取る。
• 本手法は連続的制御タスクおよび100次元を超える高次元の政策空間に対しても適用可能である。

実験結果

リサーチクエスチョン

• RQ1 実世界のロボティクスで一般的に見られる100次元を超える高次元の政策探索空間に、ベイジアン最適化をスケーラブルに適用できるか？
• RQ2 サンプル効率性を損なわせることなく、政策最適化中のシステムの安全性をどのように向上できるか？
• RQ3 予測不確実性に基づく制限付き探索空間が、実世界およびシミュレーションから現実への応用において、安定的で効率的な政策学習を可能にするか？
• RQ4 本手法は、高次元制御タスクにおけるサンプル効率性と頑健性の観点で、標準的なBOをどの程度上回るか？
• RQ5 事前学習済みの深層強化学習ポリシーを新しい報酬関数に適応させる場合、本手法はどの程度効果的か？

主な発見

• 慎重なベイジアン最適化は、100次元を超える政策探索問題に成功裏にスケーリングでき、標準的なBOが過剰な探索により失敗する領域でも有効である。
• 本手法は、政策空間の低不確実性領域への最適化制限により、システム損傷のリスクを顕著に低減した。
• モータースキルタスクにおいて、CBOは50回未満の評価で収束を達成し、サンプル効率性と安全性の両面で標準的なBOを上回った。
• 倒立振子コントローラーのシミュレーションから現実への転送において、CBOはシミュレーション内での15回のポリシー評価で、成功裏に現実世界へのデプロイを実現した。
• 新しい報酬信号に深層RLエージェントをファインチューニングする際、CBOは環境との相互作用回数を減らしながらも、ベースライン手法と同等またはより優れた性能を達成した。
• 不確実性に基づく制約により、初期ポリシーが不適切であっても安定した最適化が可能であることが示され、初期値の質に頼らない強靭性を示した。