[論文レビュー] Safety Guarantees for Planning Based on Iterative Gaussian Processes

Kyriakos Polymenakos, Luca Laurenti+6 more|arXiv (Cornell University)|Nov 29, 2019

Gaussian Processes and Bayesian Inference参考文献 25被引用数 7

ひとこと要約

本稿では、繰り返しの多段予測におけるガウス過程（GP）の軌道に対する形式的確率的境界を計算する手法を提案する。この手法により、GPの軌道が計算された区間内にある確率が $1 - \epsilon$ 以上となることが保証される。GPの性質と区間伝播を活用することで、オープンループおよびクローズドループ制御システムの両方に対してきめ細やかな安全性保証が可能となり、不確実性伝播におけるヒューリスティックな近似手法を上回る性能を発揮し、モデルベース強化学習における認証可能な安全性を実現する。

ABSTRACT

Gaussian Processes (GPs) are widely employed in control and learning because of their principled treatment of uncertainty. However, tracking uncertainty for iterative, multi-step predictions in general leads to an analytically intractable problem. While approximation methods exist, they do not come with guarantees, making it difficult to estimate their reliability and to trust their predictions. In this work, we derive formal probability error bounds for iterative prediction and planning with GPs. Building on GP properties, we bound the probability that random trajectories lie in specific regions around the predicted values. Namely, given a tolerance $ε> 0 $, we compute regions around the predicted trajectory values, such that GP trajectories are guaranteed to lie inside them with probability at least $1-ε$. We verify experimentally that our method tracks the predictive uncertainty correctly, even when current approximation techniques fail. Furthermore, we show how the proposed bounds can be employed within a safe reinforcement learning framework to verify the safety of candidate control policies, guiding the synthesis of provably safe controllers.

研究の動機と目的

• 安全が求められるアプリケーション（制御や強化学習など）において、繰り返しのGP予測における形式的不確実性境界の欠如に対処すること。
• 入力の不確実性が非ガウス分布かつ非線形であっても、複数時間ステップにわたるGP軌道のタイトな確率的保証境界を計算する手法を開発すること。
• 制御則を不確実性伝播フレームワークに統合し、GPでモデル化されたクローズドループシステムの安全性認証を可能にすること。
• 特定のモデル形態を仮定せず、GPハイパーパrameterから直接計算可能な、計算効率の良いデータ駆動型アルゴリズムを提供すること。
• 合成的および実世界のシステム上で手法を検証し、既存の近似手法に比べて不確実性追跡および安全性検証の面で優れた性能を示すこと。

提案手法

• GPの性質を活用して形式的確率境界を導出し、軌道が計算された区間内にある確率が $1 - \epsilon$ 以上となるように保証する。
• 各時間ステップで入力領域上の最大確率を用いて、不確実性を繰り返しの予測に伝播させる。
• Lemma 1 を用いて誤差伝播の確率を制限し、点ごとの誤差を入力区間上の上界に置き換えることで、確率的保証を維持する。
• 制御入力を入力空間の一部として扱うことで、フィードバックおよびオープンループ制御則の影響を境界に反映可能にする。
• 誤差境界や区間上界といったすべての中間値を、データとGPハイパーパrameterから直接計算することで、モデルに依存しない効率的な計算を実現する。
• 線形および非線形ダイナミクスの両方をサポートし、次元数、制御入力、ダイナミクス（線形、二次、非線形）が異なるシステムで検証されている。

実験結果

リサーチクエスチョン

• RQ1 非線形な入力不確実性が存在する場合でも、有効である繰り返しのGP予測に対する形式的確率的境界を導出可能か？
• RQ2 ヒューリスティックな近似に依存せずに、多段階GP予測における不確実性伝播をどのように保証できるか？
• RQ3 既存の手法が失敗する状況下でも、提案手法の境界が真の不確実性をどれほど正確に捉えられるか？
• RQ4 境界を制御方策の検証に効果的に統合することで、クローズドループシステムにおける安全性を保証できるか？
• RQ5 線形、非線形、多次元ケースを含むさまざまなシステムダイナミクスにおいて、境界はどのように振る舞うか？

主な発見

• 提案手法は、非線形な入力不確実性が存在する状況下でも、GP軌道が指定された区間内にある確率が $1 - \epsilon$ 以上となる確率的境界を的確に計算可能であることを示した。
• すべての事例において、境界が時間経過とともに収縮しており、状態が独立でない場合を含むシステムの収縮的挙動を正しく反映している。
• 最先端の近似手法（例：モーメントマッチング）に比べ、本手法は不確実性伝播をより適切に扱い、リスクを過小評価しない。
• 2次元系に2つの制御入力がある場合、境界が時間経過とともに収縮しており、不確実性と制御器効果の適切な伝播が確認された。
• 2次元線形系に2つの制御入力がある場合、境界は収縮的ダイナミクスを正しく特定しており、システムの安定性にもかかわらず1つの状態変数の境界幅が一定である場合でも同様に有効であった。
• 本手法により、オープンループおよびフィードバック制御方策の形式的認証が可能となり、強化学習におけるGPベースモデルの検証可能な安全性保証が実現された。