[論文レビュー] Meta-Learning Priors for Safe Bayesian Optimization

Jonas Rothfuss, Christopher J. Koenig+2 more|arXiv (Cornell University)|Oct 3, 2022

Fault Detection and Control Systems被引用数 7

ひとこと要約

本稿では、経験的不確実性指標とフロンティアサーチを用いて、安全で信頼性のあるガウス過程事前分布をメタ学習するデータ駆動型フレームワーク、Safe Meta-Bayesian Optimization (SaMBO) を提案する。F-PACOHを用いた不確実性の定量的向上とオフラインデータの活用により、ベンチマーク関数および高精度なモーションシステムにおいて、安全制約を厳密に維持したまま、安全BOの収束を加速する。

ABSTRACT

In robotics, optimizing controller parameters under safety constraints is an important challenge. Safe Bayesian optimization (BO) quantifies uncertainty in the objective and constraints to safely guide exploration in such settings. Hand-designing a suitable probabilistic model can be challenging, however. In the presence of unknown safety constraints, it is crucial to choose reliable model hyper-parameters to avoid safety violations. Here, we propose a data-driven approach to this problem by meta-learning priors for safe BO from offline data. We build on a meta-learning algorithm, F-PACOH, capable of providing reliable uncertainty quantification in settings of data scarcity. As core contribution, we develop a novel framework for choosing safety-compliant priors in a data-riven manner via empirical uncertainty metrics and a frontier search algorithm. On benchmark functions and a high-precision motion system, we demonstrate that our meta-learned priors accelerate the convergence of safe BO approaches while maintaining safety.

研究の動機と目的

• 事前知識が限られる状況下で、信頼性があり安全制約を満たすGPハイパーパrameterを選択する課題に対処すること。
• オフラインデータから情報豊富な事前分布を学習することで、手動で調整するか、保守的なハイパーパrameterに依存するのを減らし、安全BOにおけるサンプル効率を向上させること。
• データ駆動型の不確実性指標を用いて、最適化中に安全性を保証すること。
• 既存の安全BOアルゴリズムのコアメカニズムを変更せずに、メタ学習された事前分布を統合するフレームワークを開発すること。
• 合成および実世界のロボット制御タスクにおいて、メタ学習された事前分布が標準的な事前分布を上回る収束速度と安全遵守性を示すことを実証すること。

提案手法

• F-PACOHを用いて、データ不足や分布シフトの下でも、信頼性のあるGP事前分布をオフラインデータからメタ学習する。
• 信頼区間の経験的キャリブレーションとシャープネス指標を最小化することで、カーネルハイパーパramータを最適化するフロンティアサーチアルゴリズムを導入する。
• ハイパーパramータの上界と下界を不確実性指標に基づいて段階的に更新することで、効率的な探索が可能な単調最適化問題として定式化する。
• 経験的不確実性指標（平均キャリブレーションと平均標準偏差）を用いて、安全な事前分布の選択を評価・指針づける。
• GoOSE や SafeOpt などの既存の安全BOアルゴリズムと互換性があり、それらのサンプル効率を即座に改善可能である。
• フロンティアサーチは、不確実性指標に基づく反復的で上界・下界の更新により、ハイパーパラメータの妥当領域を迅速に絞り込む。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型のGP事前分布のメタ学習は、安全ベイズ最適化におけるクエリ効率を向上させ得るか？
• RQ2 低データ環境下で、安全を重視する応用分野において、不確実性の定量的最適化を信頼性を持って行うにはどうすればよいか？
• RQ3 カーネルハイパーパラメータのデータ駆動型選択は、コントローラー調整における安全性と収束速度の両面で優れているか？
• RQ4 メタトレーニングタスク数とタスクあたりのデータポイント数の両者が、SaMBOの性能に与える影響の程度はどの程度か？
• RQ5 フロンティアサーチは、安全性と収束保証を維持したまま、ハイパーパラメータを効率的に最適化できるか？

主な発見

• SaMBOは、バニラGP事前分布と比較して、安全ベイズ最適化におけるクエリ効率を顕著に向上させ、ベンチマーク関数上での推論レジストが0.1未満に低下した。
• 本手法は、すべての実験で厳密な安全制約を維持し、最適化中におけるいかなる安全違反も発生しなかった。
• メタトレーニングタスク数を2倍にすると、タスクあたりのデータポイント数を2倍にするのと比べて、より大きなパフォーマンス向上が得られた。これは、タスク数の影響がより顕著であることを示している。
• フロンティアサーチは、合成問題において10回未満の反復で、ハイパーパラメータの妥当領域を90％以上縮小するまでに収束した。
• F-PACOHを用いた事前分布のメタトレーニングは約3〜4分で完了し、中程度サイズのメタデータセットでは、フロンティアサーチは1分未満で完了した。
• 高精度なモーションシステムにおいて、SaMBOは安全性を損なわず、コントローラー調整の収束をより迅速に実現し、実世界への適用可能性を実証した。