[論文レビュー] Safety-Aware Preference-Based Learning for Safety-Critical Control

Ryan K. Cosner, Maegan Tucker+8 more|arXiv (Cornell University)|Dec 15, 2021

Formal Methods in Verification被引用数 5

ひとこと要約

本論文は、安全性に配慮した好みベースの学習フレームワークを提案し、Safety-Aware LineCoSPAR (SA-LineCoSpar) と制御バリア関数 (CBFs) を組み合わせることで、ロボット制御におけるパフォーマンスと安全性のバランスを図る。ユーザーの好みを用いて CBF パrameter をチューニングすることで、シミュレーションおよびハードウェア実験の両方で四足歩行ロボットにおいて、過剰な慎重さを減らしながらも、証明可能な安全性を維持したパフォーマンスの高いナビゲーションを実現した。

ABSTRACT

Bringing dynamic robots into the wild requires a tenuous balance between performance and safety. Yet controllers designed to provide robust safety guarantees often result in conservative behavior, and tuning these controllers to find the ideal trade-off between performance and safety typically requires domain expertise or a carefully constructed reward function. This work presents a design paradigm for systematically achieving behaviors that balance performance and robust safety by integrating safety-aware Preference-Based Learning (PBL) with Control Barrier Functions (CBFs). Fusing these concepts -- safety-aware learning and safety-critical control -- gives a robust means to achieve safe behaviors on complex robotic systems in practice. We demonstrate the capability of this design paradigm to achieve safe and performant perception-based autonomous operation of a quadrupedal robot both in simulation and experimentally on hardware.

研究の動機と目的

• 安全性が求められるロボットシステムにおいて、パフォーマンスと安全性のバランスをとる課題に取り組むこと。特に、従来の CBF に基づく制御器はしばしば過剰に慎重である。
• エキスパートがチューニングした報酬関数や定性的な評価に依存することを減らし、ユーザーの好みを用いて制御パラメータの選定をガイドすること。
• 好みベースの最適化を通じて、過剰に慎重な振る舞いを避ける一方で、証明可能な安全性の保証を維持する手法を開発すること。
• 順序付きフィードバック（例：「アクション A は B より好ましい」）のみを用いて、リアルタイムかつインタラクティブに安全性が求められる制御器をチューニングすること。
• 本フレームワークを、シミュレーションおよび実世界環境（屋外を含む）の両方で四足歩行ロボットに適用し、実証すること。

提案手法

• 高次元パrameter空間における好みベース学習に安全制約を組み込んだ、ベイズ最適化アルゴリズムである Safety-Aware LineCoSpar (SA-LineCoSpar) を提案する。
• センサ測定誤差に対処するため、測定に頑健な CBF（MR-CBFs）を統合し、外部の摂動を管理するための入力状態安全 CBF（ISSf-CBFs）を導入する。
• 最適化に適したパラメトリックな形で、証明可能な安全性を維持できる低次元のマルチレイヤ安全性クリティカル制御アーキテクチャを採用する。
• 目的到達コスト関数に基づくノーマルコントローラを備えた TR-OP（トラッキングロバスト最適制御）フレームワークを採用し、安全関数の 0 サーブレベルセットを用いて障害物回避を実現する。
• 入力の飽和を用いて不実行性を防ぐリアルタイムでの CBF 制約の強制を実行する安全フィルタを適用する。
• 状態推定には RealSense カメラとモーションキャプチャを用い、ユーザーのフィードバックはペアワイズの好みと順序付き安全性ラベルによって収集する。

実験結果

リサーチクエスチョン

• RQ1 事前に定義された報酬関数が不要な状態で、好みベースの学習が CBF に基づく安全フィルタのチューニングに効果的に適用可能かどうか。
• RQ2 安全性に配慮したベイズ最適化が、証明可能な安全性を保ちながら、CBF に基づく制御器の過剰な慎重さをどのように低減できるか。
• RQ3 ユーザーの好みが、複雑なロボットシステムにおける高性能かつ安全な制御パラメータの発見をどの程度効果的に導けるか。
• RQ4 提案されたフレームワークが、異なる障害物配置や環境（屋外地形を含む）に一般化可能かどうか。
• RQ5 MR-CBFs と ISSf-CBFs の統合が、実世界の実装における測定誤差や摂動の不確実性に対するロバストネスをどのように向上させるか。

主な発見

• SA-LineCoSpar は制御器の過剰な慎重さを著しく低減し、障害物の間を最小限の安全違反で進行しながらナビゲートできるようにした。
• 40 回の反復（屋外テストを含む）を経て得られた最終的な好みのアクションは、多様な障害物配置においてユーザーが好むパフォーマンスと安全性のバランスを達成した。
• シミュレーションでは、測定誤差（例：y 方向 -0.1 m シフト）が存在する状況でも安全に障害物の間をナビゲートでき、保守的ベースラインが進行に失敗したのに対し、優れた性能を示した。
• ラボおよび屋外環境でのハードウェア実験により、学習されたポリシーが新たな障害物配置に一般化可能であることが確認された（補足動画を参照）。
• MR-CBFs と ISSf-CBFs の統合により、測定誤差や摂動に対するロバストネスが向上し、実世界の不確実性下でも安全性が維持された。
• 本研究は、CBF に基づく制御器のチューニングに好みベース学習を適用した最初の研究であり、MR-CBFs と ISSf-CBFs を統合的に学習可能なフレームワークに組み合わせた最初の試みである。