[論文レビュー] Safe Learning of Quadrotor Dynamics Using Barrier Certificates

Li Wang, Evangelos A. Theodorou+1 more|arXiv (Cornell University)|Oct 16, 2017

Fault Detection and Control Systems参考文献 9被引用数 7

ひとこと要約

本稿では、ガウス過程とバリア証明を用いて、オンライン学習中の高確率的安定性を保証する安全でデータ駆動型の学習フレームワークを提案する。適応的サンプリングと再帰的GP推論を組み合わせることで、安定性を維持しながら前向き不変な安全領域を拡大し、墜落のリスクを伴わずに攻撃的な探索が可能となる。3Dシミュレーションにおいてリアルタイム性能（1更新あたり20ms未満）を達成した。

ABSTRACT

To effectively control complex dynamical systems, accurate nonlinear models are typically needed. However, these models are not always known. In this paper, we present a data-driven approach based on Gaussian processes that learns models of quadrotors operating in partially unknown environments. What makes this challenging is that if the learning process is not carefully controlled, the system will go unstable, i.e., the quadcopter will crash. To this end, barrier certificates are employed for safe learning. The barrier certificates establish a non-conservative forward invariant safe region, in which high probability safety guarantees are provided based on the statistics of the Gaussian Process. A learning controller is designed to efficiently explore those uncertain states and expand the barrier certified safe region based on an adaptive sampling scheme. In addition, a recursive Gaussian Process prediction method is developed to learn the complex quadrotor dynamics in real-time. Simulation results are provided to demonstrate the effectiveness of the proposed approach.

研究の動機と目的

• 実世界の応用において、未知のクアッドローター動的特性のオンライン学習中に安全性を保証するという重要な課題に取り組む。
• モデルの不確実性や未モデル化されたダイナミクスが存在する中でも、高確率的安定性保証を提供する手法を開発する。
• 動的拡張可能な安全領域を用いて、安全制約に違反せずに不確実な状態に対する攻撃的な探索を可能にする。
• 全状態空間のチェックを避けることで、バリア証明最適化における計算コストを低減するための適応的サンプリングを導入する。
• 再帰的ガウス過程推論機構を用いて、3次元非線形ダイナミクスのリアルタイム学習を実現する。

提案手法

• 未知のクアッドローター動的特性をモデル化するためにガウス過程を用い、リアルタイム学習のための平均予測と不確実性推定（分散）を提供する。
• バリア証明を用いて、すべての軌道が無限にその中で留まる前向き不変な安全領域を定義し、到達可能性の明示的計算なしに安全性を保証する。
• GP統計を用いて高確率的安全性保証を構築し、ユーザーが指定した信頼水準でシステムが安全領域内に留まるように保証する。
• 安全領域境界付近および高い不確実性領域を優先する適応的サンプリング戦略を導入し、計算負荷を低減しながら安全性を維持する。
• 1イテレーションあたり20ms未満の低遅延を実現する再帰的GP推論法を開発し、3次元クアッドローター動的特性のリアルタイムオンライン学習を可能にする。
• 学習済みのダイナミクスを微分平坦性に基づくフライトコントローラーに統合し、探索中の軌道追従性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 未知の非線形クアッドローター動的特性のオンライン学習中に、どのように高確率的安定性を保証できるか？
• RQ2 バリア証明を用いて、データの増加と不確実性の低減に伴い進化する動的拡張可能な安全領域を定義できるか？
• RQ3 適応的サンプリングは、バリア証明最適化における無限の不等式制約の検証にかかる計算負荷をどのように低減できるか？
• RQ4 モデルの不確実性とアクチュエータ制限が存在する状況下で、探索の攻撃性と安全性のトレードオフはどのように変化するか？
• RQ5 再帰的GP推論は、複雑な3次元クアッドローター動的特性のオンライン学習において、リアルタイム性能（20ms未満の更新時間）を維持できるか？

主な発見

• 提案手法は、学習プロセス中においてもシステムの安全性を確実に維持しており、クアッドローターがバリア証明による安全領域を逸脱したことはない。
• 安全領域は初期の保守的証明（μ = 6.3）から、はるかに攻撃的なもの（μ = 0.6）に拡大され、z方向の高速かつダイナミックな飛行が可能になった。
• 適応的サンプリングは、安全領域境界付近や高い不確実性領域（例：下向き速度 ż > 0）を優先し、より効率的なデータ収集を実現した。
• 再帰的GP推論により、1イテレーションあたりの更新時間が常に20ms未満を維持し、リアルタイムオンライン学習に適していることが確認された。
• 学習ベースのコントローラーは、非学習ベースのベースラインと比較して著しく低い追従誤差を達成しており、図7で示された。
• 状態表現を簡略化した学習（q′ = [ṙᵀ, θ, φ, ψ]ᵀ）は、完全な状態学習よりもスケーラビリティに優れており、この設定下では位置（r）が重要性を欠いている可能性を示唆している。