[論文レビュー] Learning Robust Output Control Barrier Functions from Safe Expert Demonstrations

Lars Lindemann, Alexander Robey+4 more|arXiv (Cornell University)|Nov 18, 2021

Adversarial Robustness in Machine Learning被引用数 11

ひとこと要約

本稿では、システムの動的特性および状態推定の不確実性下でも、専門家のデモンストレーションから安全な制御則を学習するためのロバスト出力制御バリア関数（ROCBF）を提案する。安全な専門家データを用いて凸最適化問題を定式化することで、有界な誤差が存在する場合でも安全集合の前向き不変性を保証し、RGB入力を用いた自律走行車両などの自律システムにおいて、証明可能な安全性を実現する。

ABSTRACT

This paper addresses learning safe output feedback control laws from partial observations of expert demonstrations. We assume that a model of the system dynamics and a state estimator are available along with corresponding error bounds, e.g., estimated from data in practice. We first propose robust output control barrier functions (ROCBFs) as a means to guarantee safety, as defined through controlled forward invariance of a safe set. We then formulate an optimization problem to learn ROCBFs from expert demonstrations that exhibit safe system behavior, e.g., data collected from a human operator or an expert controller. When the parametrization of the ROCBF is linear, then we show that, under mild assumptions, the optimization problem is convex. Along with the optimization problem, we provide verifiable conditions in terms of the density of the data, smoothness of the system model and state estimator, and the size of the error bounds that guarantee validity of the obtained ROCBF. Towards obtaining a practical control algorithm, we propose an algorithmic implementation of our theoretical framework that accounts for assumptions made in our framework in practice. We validate our algorithm in the autonomous driving simulator CARLA and demonstrate how to learn safe control laws from simulated RGB camera images.

研究の動機と目的

• システムの動的特性および状態推定器に不確実性が存在する状況において、データ駆動型の安全制御則の学習手法を開発すること。
• 動的特性および状態推定の有界な誤差が存在する場合でも、安全集合のロバストな前向き不変性を保証することにより、安全性を確保すること。
• 事前に解析的構築を行わずに、人間の運転などの専門家のデモンストレーション（例：人間の運転）を活用して有効な制御バリア関数を学習すること。
• データ密度、滑らかさ、誤差境界に関する検証可能な条件を提供し、学習されたROCBFが有効かつロバストであることを保証すること。
• センサのノイズやモデルの不正確さといった現実世界の仮定をアルゴリズム実装に組み込むことで、実用的導入を可能にすること。

提案手法

• 不確実性下でも安全集合の制御された前向き不変性を保証するロバスト出力制御バリア関数（ROCBF）を提案し、安全性を保証する。
• 線形パラメータ化を仮定して、安全な専門家のデモンストレーションからROCBFのパラメータを学ぶための凸最適化問題を定式化する。
• データ密度、システム／モデルの滑らかさ、誤差境界の大きさに基づく検証可能な条件を導入し、学習されたROCBFの有効性を保証する。
• 推定誤差を最適化および検証プロセスでバウンディングするために、状態空間および出力空間のε-ネット近似を用いる。
• 状態推定誤差境界およびシステムの動的特性の不確実性集合をバリア関数の定式化に統合し、ロバスト性を確保する。
• センサのノイズやモデルの不正確さといった現実世界の制約を考慮した、実用的なアルゴリズム実装を設計し、CARLAシミュレータに統合する。

実験結果

リサーチクエスチョン

• RQ1 有界なシステムの動的特性および状態推定の不確実性下でも、専門家のデモンストレーションから安全を保証する制御バリア関数を学習できるか？
• RQ2 学習されたROCBFがモデル誤差および推定誤差に対して、どのような条件下で証明可能な有効性とロバスト性を示すか？
• RQ3 ROCBFが線形パラメータ化されている場合、学習最適化問題の凸性をどのように保証できるか？
• RQ4 システムおよび推定器のデータ密度と滑らかさは、学習されたROCBFの有効性にどのような役割を果たすか？
• RQ5 理論的枠組みを、自律走行車両のような安全が求められるシステムにおける実用的導入にどのように適応できるか？

主な発見

• ROCBFが線形パラメータ化されている場合、ROCBFを学習する最適化問題は凸であるため、効率的かつ信頼性の高い学習が可能である。
• データ密度、システムおよび推定器の滑らかさ、誤差境界の大きさに基づく検証可能な条件が存在し、学習されたROCBFの有効性を保証する。
• 本手法により、システムの動的特性および状態推定における有界な不確実性下でも、安全集合が前向き不変のまま保たれる。
• CARLAシミュレータにおける実証的検証により、RGBカメラ画像と専門家の運転デモンストレーションから安全な制御ポリシーを効果的に学習できたことが示された。
• アルゴリズム実装は、センサのノイズやモデルの不正確さといった実用的仮定を適切に反映しており、実世界への導入を可能にした。