[論文レビュー] Feasibility-Guided Learning for Robust Control in Constrained Optimal Control Problems

Wei Xiao, Călin Belta+1 more|arXiv (Cornell University)|Dec 6, 2019

Advanced Control Systems Optimization参考文献 19被引用数 4

ひとこと要約

本稿では、任意の相対次数系における制約付き最適制御のロバスト性を向上させるために、高次制御バリア関数（HOCBF）のパラメータを最適化する、妥当性誘導型学習手法を提案する。機械学習を用いて妥当／不適切なパラメータ領域を分類し、微分可能分類器を学習プロセスに統合することで、時間変動的かつ未知の不安全領域に対してもQPの妥当性が向上し、安全保証のもとでシミュレーションベースのロボットナビゲーションタスクにおいて勾配降下法を上回る性能を発揮する。

ABSTRACT

Optimal control problems with constraints ensuring safety and convergence to desired states can be mapped onto a sequence of real time optimization problems through the use of Control Barrier Functions (CBFs) and Control Lyapunov Functions (CLFs). One of the main challenges in these approaches is ensuring the feasibility of the resulting quadratic programs (QPs) if the system is affine in controls. The recently proposed penalty method has the potential to improve the existence of feasible solutions to such problems. In this paper, we further improve the feasibility robustness (i.e., feasibility maintenance in the presence of time-varying and unknown unsafe sets) through the definition of a High Order CBF (HOCBF) that works for arbitrary relative degree constraints; this is achieved by a proposed feasibility-guided learning approach. Specifically, we apply machine learning techniques to classify the parameter space of a HOCBF into feasible and infeasible sets, and get a differentiable classifier that is then added to the learning process. The proposed feasibility-guided learning approach is compared with the gradient-descent method on a robot control problem. The simulation results show an improved ability of the feasibility-guided learning approach over the gradient-decent method to determine the optimal parameters in the definition of a HOCBF for the feasibility robustness, as well as show the potential of the CBF method for robot safe navigation in an unknown environment.

研究の動機と目的

• CBFおよびCLFに基づく最適制御における二次計画問題（QP）の不適切な解法の課題に取り組むこと。特に、厳しい安全制約と狭い制御限界を有する系に対して。
• 時間変動的かつ未知の不安全領域が存在する状況でも、特に高相対次数系に対して、妥当性のロバスト性を向上させること。
• HOCBFパラメータを最適化することで制約の活性化を遅らせ、ロバスト性を最大化する学習ベースの手法を開発すること。
• ロボット制御設定において、妥当性誘導型学習手法と勾配降下法を比較し、性能と安全性の向上を実証すること。
• 微分可能で学習可能なバリア関数フレームワークを用いて、未知または動的環境における適応的・リアルタイムの安全ナビゲーションを可能にすること。

提案手法

• 任意の相対次数制約に対応できるように、調整可能なペナルティおよびパワーのパラメータを有する高次制御バリア関数（HOCBF）をパrameter化する。
• QPの妥当性に基づいて、HOCBFパラメータ空間を妥当領域と不適切領域に分類するため、機械学習を用いる。
• HOCBFパラメータから妥当性結果へのマッピングを可能にする微分可能分類器を訓練し、エンド・ツー・エンド最適化を可能にする。
• 学習済み分類器を妥当性誘導型最適化（FGO）フレームワークに統合し、不安全領域までの最小距離を最大化する。
• HOCBF制約が可能な限り遅く活性化するように、制約付き最適制御問題を定式化する。
• 分類精度と妥当性のロバスト性を指標として、シミュレーションにおいてFGO手法と勾長降下法（GD）を比較する。

実験結果

リサーチクエスチョン

• RQ1 機械学習ベースの分類器は、未知かつ時間変動的な不安全領域が存在する状況下でも、CBFおよびCLFに基づく最適制御におけるQPの妥当性を向上させることができるか？
• RQ2 妥当性誘導型学習（FGO）は、ロバスト性を向上させるためにHOCBFパラメータを最適化する際、勾長降下法と比較してどのように優れているか？
• RQ3 不安全領域が未知または動的に変化する状況下でも、提案手法がQPの妥当性をどの程度維持できるか？
• RQ4 学習済みのHOCBFパラメータは、移動する障害物を有する未知環境における安全なロボットナビゲーションを保証できるか？
• RQ5 微分可能な分類器は、高相対次数系におけるHOCBFパラメータの効果的かつスケーラブルな最適化を可能にするか？

主な発見

• 妥当性誘導型学習（FGO）は、4000件のトレーニングサンプルで97.0％の分類精度を達成し、最適なHOCBFパラメータを同定する点で勾長降下法を顕著に上回った。
• 3500件のトレーニングサンプルを用いた場合、FGOは勾長降下法よりも優れた解を発見する確率が28.8％であった。両手法を組み合わせた場合、5％の改善が得られた。
• 学習済みのHOCBFパラメータ $(p_1^*, p_2^*, q_1^*, q_2^*) = (0.7426, 1.9745, 1.9148, 0.7024)$ は、障害物のサイズやランダムな動きが変動するあらゆるテスト環境で安全なロボットナビゲーションを可能にした。
• CBFベースのフレームワークは、A* や RRT が完全な地図情報が必要とすることと異なり、グローバルな環境知識を必要とせずに安全保証を維持した。
• CBF手法の計算時間は1ステップあたり0.01秒未満であり、頻繁な再プランニングを要する動的環境では、A*（1.3秒）や RRT（0.3秒）よりも顕著に高速であった。
• 動的環境において、障害物の位置が急速に変化する状況でも、CBFフレームワークはA* や RRT よりも優れた適応性とロバスト性を示した。