[論文レビュー] Bayesian Optimization with Safety Constraints: Safe and Automatic Parameter Tuning in Robotics

Felix Berkenkamp, Andreas Krause+1 more|arXiv (Cornell University)|Feb 14, 2016

Gaussian Processes and Bayesian Inference被引用数 26

ひとこと要約

本稿では、複数の独立した安全制約下でロボット制御パrameterの安全で自動的なチューニングを可能にするベイジアン最適化フレームワーク、SafeOpt-MCを提案する。ガウス過程の事前分布と確率的安心保証を活用することで、最適化中に安全でないパrameterの評価が行われないことを保証し、高い確率で安全なパrameter領域内で最適なパフォーマンスに収束する。実機のクアッドコpterを用いた評価で検証された。

ABSTRACT

Robotic algorithms typically depend on various parameters, the choice of which significantly affects the robot's performance. While an initial guess for the parameters may be obtained from dynamic models of the robot, parameters are usually tuned manually on the real system to achieve the best performance. Optimization algorithms, such as Bayesian optimization, have been used to automate this process. However, these methods may evaluate unsafe parameters during the optimization process that lead to safety-critical system failures. Recently, a safe Bayesian optimization algorithm, called SafeOpt, has been developed, which guarantees that the performance of the system never falls below a critical value; that is, safety is defined based on the performance function. However, coupling performance and safety is often not desirable in robotics. For example, high-gain controllers might achieve low average tracking error (performance), but can overshoot and violate input constraints. In this paper, we present a generalized algorithm that allows for multiple safety constraints separate from the objective. Given an initial set of safe parameters, the algorithm maximizes performance but only evaluates parameters that satisfy safety for all constraints with high probability. To this end, it carefully explores the parameter space by exploiting regularity assumptions in terms of a Gaussian process prior. Moreover, we show how context variables can be used to safely transfer knowledge to new situations and tasks. We provide a theoretical analysis and demonstrate that the proposed algorithm enables fast, automatic, and safe optimization of tuning parameters in experiments on a quadrotor vehicle.

研究の動機と目的

• ロボットシステムのチューニング中に安全でないパrameter評価のリスクを低減すること、これはシステム障害を引き起こす可能性がある。
• ベイジアン最適化において安全制約をパフォーマンス目的から分離することにより、安全基準とパフォーマンス基準を独立して定義可能とすること。
• 正確なシステムモデルや勾配情報に依存せずに、最適化中に安全を保証する手法を開発すること。
• 入力、状態、パフォーマンス制約を尊重しながら、データ効率的で自動的なパrameterチューニングを現実のロボットシステムで実現すること。
• 最適化プロセスにおけるコンテキスト変数を用いて、異なるタスク間での知識の安全な転送を可能とすること。

提案手法

• アルゴリズムは、パフォーマンス目的関数と複数の安全制約関数をモデル化するためにガウス過程の事前分布を用いる。
• 各イテレーションで、ノイズを含む実世界の評価結果を用いて関数の信念を更新する安全パrameterの集合を維持する。
• 各ステップで、情報量が多く（期待改善が大きい）かつすべての安全制約を高い確率で満たすことが保証されるパrameterを選択する。
• 安全性はリプシッツ連続性の仮定と確率的信頼区間を用いて確保され、評価されるすべてのパrameterが安全集合内に留まることが保証される。
• 知識の転送を可能にするために、コンテキスト変数を統合する。
• 安全集合内でさらなる改善が不可能になった時点でアルゴリズムは終了する。これは理論的収束限界によって保証される。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン最適化を、複数の独立した安全制約を扱えるように拡張することは可能か？ また、チューニング中に安全でない評価が発生しないように保証できるか？
• RQ2 勾配情報に依存しない最適化手法は、システムモデルや勾配推定に依存せずに、ロボット工学分野で安全かつ効率的なパrameterチューニングを達成できるか？
• RQ3 最適化において安全とパフォーマンスを分離することで、誤差の低減と制約違反のトレードオフを回避できるか？
• RQ4 ノイズを含む実世界の評価がある状況下で、安全と収束に関する理論的保証をどのように提供できるか？
• RQ5 コンテキストに適応した最適化は、異なるロボットタスクや構成間で知識を転送可能であり、安全性を維持しながら最適化効率を向上させることができるか？

主な発見

• SafeOpt-MCは、ノイズのある観測下でも、すべての評価パrameterが高確率ですべての安全制約を満たすことを保証する。
• アルゴリズムは、安全な最適パフォーマンスからε以内のパフォーマンスを達成するパrameter集合に収束することを高確率で保証する。
• 理論的分析により、アルゴリズムが最終的に安全集合全体を探索することが証明され、収束に達した段階では安全領域内でさらなる改善が不可能であることが保証される。
• 勾配情報や事前システムモデルを必要としないため、実ロボット上でデータ効率的なチューニングが可能となる。
• クアッドコプターを用いた実験的評価により、失敗を回避しながら高速かつ自動的かつ安全にコントローラーパrameterをチューニングできることが実証された。
• コンテキスト変数の導入により、異なるタスク間で効果的な知識の転送が可能となり、新しいシナリオにおける最適化効率が向上した。