[論文レビュー] Counter-example Guided Learning of Bounds on Environment Behavior

Yuxiao Chen, Sumanth Dathathri+2 more|arXiv (Cornell University)|Jan 20, 2020

Formal Methods in Verification参考文献 16被引用数 4

ひとこと要約

本稿では、安全でない制御器の検証を可能にするために、データ駆動型で、反例を用いた学習フレームワークを提案する。実データ上で誤り検出とサポートベクターマシンを組み合わせることで、環境の未モデル化された挙動に対する保守的で状態依存の境界を繰り返し精錬する。正確な環境モデルが不要であるため、人間の運転データを用いた実世界のLane-change制御器を99.9％の信頼度で正当化に成功した。

ABSTRACT

There is a growing interest in building autonomous systems that interact with complex environments. The difficulty associated with obtaining an accurate model for such environments poses a challenge to the task of assessing and guaranteeing the system's performance. We present a data-driven solution that allows for a system to be evaluated for specification conformance without an accurate model of the environment. Our approach involves learning a conservative reactive bound of the environment's behavior using data and specification of the system's desired behavior. First, the approach begins by learning a conservative reactive bound on the environment's actions that captures its possible behaviors with high probability. This bound is then used to assist verification, and if the verification fails under this bound, the algorithm returns counter-examples to show how failure occurs and then uses these to refine the bound. We demonstrate the applicability of the approach through two case-studies: i) verifying controllers for a toy multi-robot system, and ii) verifying an instance of human-robot interaction during a lane-change maneuver given real-world human driving data.

研究の動機と目的

• 複雑で制御不能な環境の正確なモデルがなくても、自律システム制御器の形式的検証を可能にすること。
• 環境ダイナミクスが未知または明示的にモデル化することが難しい場合に、安全で重要なシステムの検証に取り組むこと。
• 誤り検出による反例を用いて、環境挙動の保守的境界を繰り返し精錬するフィードバックループを構築すること。
• ランダム凸プログラミング理論を用いて、学習した環境境界の正しさに関する確率的保証を提供すること。

提案手法

• フレームワークは、信号時相論理（STL）で記述された仕様を違反する場合に反例を生成する誤り検出を用いる。
• 誤り検出トレースは負例として扱われ、自然主義的な環境挙動データは正例として使用される。
• 正例と負例を用いてサポートベクターマシン（SVM）を訓練し、システムの状態に応じて変化する環境行動の反応的境界を学習する。
• 反応的境界は、実際の環境挙動の保守的な上界近似であり、もし制御器がこの境界下で安全であると証明されれば、真の環境下でも高い確率で安全であることが保証される。
• このプロセスは反復的である：誤り検出に成功すれば、新たな反例を用いて境界を精錬する。成功しなければ、境界は検証に十分であると判断される。
• ランダム凸プログラミング（RCP）を用いた理論的保証により、境界の信頼性が導出され、真の環境挙動を高い信頼度でカバーすることが保証される。

実験結果

リサーチクエスチョン

• RQ1 複雑で制御不能な環境の完全なダイナミクスをモデル化しなくても、制御器の安全性を検証できるか？
• RQ2 実データとシステム仕様から、保守的で状態依存の環境挙動境界をどのように学習できるか？
• RQ3 誤り検出から得られる反例を用いて、環境境界を繰り返し精錬し、成功した検証を可能にすることができるか？
• RQ4 制御器のポリシーとシステム仕様は、環境挙動境界の学習をどのように導くか？
• RQ5 学習した環境境界の正しさに関する確率的保証をどのように提供できるか？

主な発見

• 本フレームワークは、SPMDデータベースから得た実際の人間ドライビングデータを用いて、モデル予測制御（MPC）によるLane-change制御器を成功裏に検証した。
• 4回の反復で学習された反応的境界により、誤り検出はもはや反例を生成できず、制御器がSTL仕様を高い信頼度で満たしていることが確認された。
• Lane-changeケースでは、平均29.6秒で検証が完了し、計算効率が優れていることが示された。
• 衝突回避制約を削除した場合、誤り検出は衝突を引き起こす挙動を成功裏に同定し、制御器の再設計に役立つ具体的なフィードバックを提供した。
• 人間ドライバーの加速度に対する反応的境界は、状態 $ x $ に応じて変化する上界 $ a^{ ext{max}}_{ ext{max}}(x) $ として学習された。
• 本手法は、トイ・マルチロボットシステムおよび実世界の自動運転シナリオの両方でロバストであることが示され、一般化可能性が検証された。